Audio Flamingo 2: 언어/비언어 소리를 함께 이해하는 오디오-언어 모델

 

현대의 인공지능(AI) 모델들은 자연어 처리(NLP)와 이미지 인식 분야에서 비약적인 발전을 이루었지만, 오디오를 효과적으로 이해하고 추론하는 능력은 여전히 제한적입니다. 인간은 비언어적 소리, 음악, 환경음을 통해 감정과 상황을 해석할 수 있으며, AI 역시 이러한 능력을 갖춘다면 보다 자연스럽고 직관적인 상호작용이 가능해지겠죠.

 

최근 몇 년간 오디오-언어 모델(Audio-Language Model, ALM)이 발전하면서 AI의 청각적 이해력도 향상되고 있습니다. 대표적으로 Contrastive Language-Audio Pre-training(CLAP) 같은 모델은 오디오와 언어 간의 관계를 학습하는 데 사용되어 왔지만, 기존 ALM은 짧은 오디오(최대 30초)만을 처리할 수 있었고, 전문가 수준의 논리적 추론을 수행하는 데 한계가 있었습니다.

 

이 문제를 해결하기 위해 NVIDIA와 메릴랜드 대학교 연구진은 공동으로 'Audio Flamingo 2 (AF2)' 를 개발했습니다.

 

---

기존 ALM 의 문제점

기존 ALM은 다음과 같은 문제점을 가지고 있었습니다.

• 짧은 오디오 처리 한계 : 대부분의 ALM은 10~30초 길이의 오디오만 분석 가능했으며, 긴 오디오의 맥락을 이해하는 데 어려움을 겪었습니다.
• 전문가 수준의 추론 부족 : 기존 모델은 소리의 단순한 분류나 캡셔닝(설명 생성)에는 강했지만, 논리적 추론이 필요한 질문에는 낮은 성능을 보였습니다. 
• 훈련 데이터의 품질 한계 : 기존 오디오-언어 데이터셋은 단순한 태그나 캡션 중심이었으며, 심층적인 이해를 요구하는 질문과 답변(QA) 데이터가 부족했습니다. 

Audio Flamingo 2

1) 개요 

Audio Flamingo 2 (AF2)는 소리와 언어를 연결하는 Audio-Language Model로, 비언어적 소리(예: 환경 소음, 악기 소리)와 음악을 이해하고 이를 기반으로 복잡한 질문에 답하거나 설명을 생성할 수 있는 능력을 갖추고 있습니다. 이 모델은 비교적 작은 3B 파라미터 언어 모델과 203M 파라미터 오디오 인코더로 구성되어 있으며, 효율적이면서도 강력한 성능을 발휘합니다.

 

AF2는 앞서의 기존 ALM이 가진 문제를 해결하기 위해 세 가지 핵심 기술을 도입했습니다.

1. AF-CLAP 오디오 인코더 : 기존 CLAP 모델을 확장하여 800만 개 이상의 오디오-캡션 쌍을 학습하도록 개선
2. AudioSkills 데이터셋 : 전문가 수준의 오디오 추론을 위한 대규모 QA 데이터셋 생성
3. 3단계 커리큘럼 학습 : 모델을 점진적으로 고도화하는 3단계 학습 전략 적용

 

그리하여 AF2느 기존 ALM 대비 다음과 같은 특징을 갖습니다.

• 탁월한 성능 : 3B 파라미터라는 작은 모델 크기에도 불구하고, 20개 이상의 벤치마크에서 대규모 오픈소스 및 상용 모델을 능가합니다.
• 긴 오디오 이해 : 최대 5분 길이의 긴 오디오를 처리할 수 있는 최초의 ALM으로, 이를 위해 LongAudio 데이터셋과 LongAudioBench를 새롭게 제안했습니다.
• 전문가 수준의 추론 : 단순 이벤트 분류를 넘어 복잡한 추론(예: 소리의 시간적 관계, 맥락적 의미 분석)이 가능합니다.
• 효율성 : Cross-Attention 메커니즘을 통해 계산 비용을 줄이고, 고품질 데이터와 커리큘럼 학습으로 성능을 최적화했습니다.

 

2) 아키텍처

AF2의 아키텍처는 네 가지 주요 구성 요소로 이루어져 있습니다.

그림 : Audio Flamingo 2의 Cross-Attention 아키텍처와 3단계 커리큘럼 학습 과정

 

• AF-CLAP 오디오 인코더 : CLAP(Contrastive Language-Audio Pre-training)을 기반으로 한 오디오 인코더로, 슬라이딩 윈도우를 통해 오디오 특징을 추출합니다. 
• 오디오 표현 변환 레이어 : 오디오 데이터를 더 풍부하게 표현하기 위해 추가적인 셀프 어텐션 레이어를 사용합니다.
• 디코더 전용 언어 모델 : Qwen2.5-3B를 기반으로 하여 텍스트 생성을 담당합니다.
• 게이트 크로스 어텐션(Gated Cross-Attention) : 오디오와 언어 간의 상호작용을 효율적으로 처리하며, 기존 프리픽스 튜닝 대비 계산 복잡도를 줄였습니다.

이 구조는 오디오 데이터를 효과적으로 처리하고, 이를 언어 모델에 조건화하여 자연스럽고 정확한 응답을 생성하도록 설계되었습니다.

3) 세부 적용 기술

• 데이터 혁신 - AudioSkills와 LongAudio
  • AudioSkills : 420만 개 이상의 질문-답변(QA) 쌍으로 구성된 합성 데이터셋으로, 시간적 추론, 속성 식별, 맥락적 이벤트 이해 등 7가지 전문 기술을 훈련됨
  • LongAudio : 30초에서 5분 길이의 오디오를 포함한 26만 개 이상의 QA 쌍으로, 긴 오디오의 캡션 생성과 추론 작업을 지원
• 오디오 인코딩 - AF-CLAP
  • AF-CLAP은 기존 CLAP을 개선한 것으로, 800만 개 이상의 오디오-캡션 쌍으로 훈련
  • 언어 변형에 강건하도록 긍정적 캡션 변형을 추가하고, 시간적/속성적 구성을 반영한 부정적 샘플을 생성하여 향상된 대비 손실(contrastive loss)을 설계

그림 : AF-CLAP 훈련 과정

 

• 훈련 전략 - 3단계 커리큘럼 학습
  • 1단계(Pre-training) : 오디오와 언어 모델의 정렬을 위해 30초 이내 오디오를 사용
  • 2단계(Fine-tuning) : AudioSkills로 전문 논리적 추론 능력을 강화하며, 최대 1.5분 오디오로 확장
  • 3단계(Long Fine-tuning) : LongAudio로 최대 5분 오디오 이해를 훈련. 장기 맥락 이해력 향상

 

4) 제약사항

 

AF2는 뛰어난 성능을 보이지만, 몇 가지 한계도 존재합니다.

• 음성 이해 한계 : 현재 모델은 음악이나 환경음에 강하지만, 복잡한 대화나 연설 분석 능력은 제한적입니다.
• 추론 능력의 한계 : 인간 수준의 논리적 추론에는 여전히 미치지 못하며, 특정한 질문 유형에서는 오류를 보일 가능성이 있습니다.

---

AF2는 소리와 언어를 융합하는 혁신적인 AI 기술입니다. 긴 오디오 이해와 전문가 수준의 추론 능력은 산업 이상 탐지, 감정 인식, 장애인 보조 기술, 오디오 검색 시스템 등등 다양한 분야에서 광범위하게 적용될 수 있을 것으로 전망됩니다. 

---

참고자료

• 논문) Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities (링크)
• 코드) Audio Flamingo 2 Github (링크)
• 데모) Demo on Hugging Face Space (링크)

---

Q&A

Q. AF2는 기존 모델과 비교해 얼마나 더 뛰어난가요?

AF2는 기존 모델보다 20개 이상의 벤치마크에서 성능을 초과했으며, 특히 긴 오디오 처리 능력에서 압도적인 성능을 보입니다.

 

Q. AF2의 주요 응용 분야는 무엇인가요?

장애인 보조 기술, 자동 음악 분석, 환경 소리 인식, 보안 시스템 등 다양한 분야에서 활용될 수 있습니다.

 

Q. AF2의 한계는 무엇인가요?

음성 대화 분석이 부족하며, 특정한 논리적 추론 문제에서 오류 가능성이 있습니다.