Spatial Speech Translation : 실시간+감정표현이 가능한 공간 인식 기반 다중 화자 음성 번역 기술

 

한 사람이 여러 명의 외국인과 동시에 대화해야 하는 상황을 상상해 보세요. 각기 다른 언어로 말하는 사람들 사이에서 원하는 사람의 말을 실시간으로 이해하려면, 단순히 번역만으로는 부족합니다. 누가 어디서 말하고 있는지를 파악하는 능력, 그리고 그 사람의 감정이나 억양까지 보존하면서 번역할 수 있는 기술이 필요합니다.

 

최근 인공지능 기술의 발전은 기존의 언어 번역과 음성 처리 분야에 새로운 가능성을 열어주고 있습니다. 특히 ‘공간 인식 음성 번역(Spatial Speech Translation)’ 기술은 기존의 번역 모델과 달리, 화자의 위치(누가, 어디서 말했는지), 억양, 감정 표현(어떻게 말했는지)을 그대로 보존하면서 실시간으로 다중 화자의 음성을 번역하는 것을 목표로 합니다. 이 기술은 단순한 기계 번역을 넘어, 인간의 청각 경험을 모방하는 방향으로 진화하고 있습니다.

그림 : Spatial Speech Translation의 개념. 각각 두명/혼잡환경의 예시와 시스템의 구조 요약을 담고 있음

---

Spatial Speech Translation

 

1) 기존 방식의 문제점

전통적인 음성 번역 시스템은 대부분 '자동 음성 인식(ASR)' → '텍스트 번역(MT)' → '텍스트-음성 변환(TTS)'의 순차적인 방식으로 구성됩니다. 이 방식은 하나의 화자만을 고려하며, 다중 화자가 동시에 말하는 환경에서는 번역이 혼합되거나 왜곡되어 실용성이 떨어집니다. 또한, 이 과정에서 화자의 억양, 감정, 위치 등 비언어적 정보가 사라져 실제 대화 상황과는 동떨어진 번역이 이뤄집니다.

 

2) 접근 방식

본 논문에서는 이러한 문제를 해결하기 위해, ‘공간 기반 음성 분리 및 번역 시스템’을 제안합니다. 이 시스템은 세 가지 주요 단계로 구성되어 있습니다. 첫째, 다중 화자의 음성을 분리하고 각각의 위치를 추정하는 공간 분리 모듈이 있으며, 둘째, 분리된 음성을 실시간으로 번역하는 스트리밍 번역 모듈, 마지막으로 화자의 위치를 반영한 이중 음성 출력(binaural rendering)을 통해 원래의 공간감을 그대로 보존하며 번역된 음성을 재생합니다.

 

이 시스템은 실제 사용자의 청각 경험을 고려하여, 단순한 번역 정확도뿐 아니라 ‘공간감’, ‘화자 보존성’, ‘자연스러움’ 등의 품질을 향상시키는 데 중점을 둡니다. 즉, '음성 분리 → 번역 → 방향성 재생'이라는 흐름을 통해 현실감 있는 번역 경험을 제공하는 것입니다.

 

그림 : 시스템의 전체 구성도 (화자분리 및 위치 추정, 실시간 번역, 이중 채널 출력)에 대해 설명

 

3) 세부 적용 기술

1️⃣ 음성 분리 및 위치 추정 (Joint Localization and Separation)

TF-GridNet이라는 스트리밍 가능한 신경망 모델을 기반으로, 전체 공간을 일정 각도 간격으로 나눈 후, 각 방향에서 말하는 화자가 있는지를 실시간으로 분석합니다. 각 방향에서의 음성을 분리한 뒤, 화자의 위치(도착 각도: AoA)를 추정해 화자 정보를 정밀하게 분리합니다.

 

2️⃣ 번역 모듈 (Streaming Speech-to-Speech Translation)

번역 과정은 두 단계로 이루어집니다. 먼저 원어 음성을 텍스트로 변환(Speech-to-Text, S2T)하고, 이를 다시 목적어로 음성 출력(Text-to-Speech, TTS)합니다. 이 과정에서 화자의 감정, 억양, 말투 등을 보존하는 ‘Expressive Encoder/Vocoder’가 사용됩니다.

3️⃣ 공간 인식 음성 재생 (Binaural Rendering)

번역된 음성을 단순히 양쪽 이어폰에 똑같이 출력하는 것이 아니라, 원래 화자의 방향에서 들리는 것처럼 출력하는 기술입니다. 이를 위해 HRTF(Head-Related Transfer Function)와 ILD(Interaural Level Difference)를 조합하여 공간감을 보존한 출력을 생성합니다.

그림 : 공간 신호 처리와 번역 지연 보정 설명 (A화자 분리 과정, B: 번역 지연 보정)

 

그림 : 2단계 실시간 음성-음성 번역 시스템 처리 흐름

 

위의 그림은 음성-음성 번역 시스템의 처리 흐름을 설명합니다.

 

• 좌)  'Simultaneous Speech-to-Text (S2T) Translation'  (S2T 번역) : 음성에서 특징 추출을 통해 벡터로 변환하는 과정과 이에 대한 정책 결정을 하는 단게, 그리고 정확한 텍스트를 생성하는 과정을 담고 있습니다. 즉, '문장을 다 듣고 번역'하는게 아니라 '중간중간 번역을 시작해서 지연을 최소화'하는 방식입니다.
• 우) 'Expressive Text-to-Speech (T2S) Generation'  (T2S 합성) 은 생성된 텍스트를 목표 언어의 음성으로 변환하는 단계로 이 기술을 통해 로봇 같은 목소리가 아닌, '실제 사람처럼 말하는 번역 음성을 실시간으로 생성'할 수 있습니다. 

 

 

4️⃣ 실제 환경을 반영한 학습 데이터 구성

 

실제 환경에서의 다양한 반향, 소음, 사람의 머리 크기 등을 고려하기 위해, 여러 공개된 BRIR(방향별 실내 반향 응답) 데이터셋을 조합하여 학습 데이터를 합성했습니다. 이로써 다양한 환경에 잘 적응할 수 있도록 설계되었습니다,

 

 

4) 제약사항

이 시스템은 매우 정교하지만, 몇 가지 제약도 존재합니다. 예를 들어, Expressive Encoder와 Vocoder가 고정된 상태로 학습되어 있어, 소음이 많은 환경에서는 왜곡된 음성이 출력될 수 있습니다. 또한 번역 정확도와 반응속도 측면에서 대형 모델에 비해 일부 성능 저하가 발생할 수 있으며, 이를 해결하기 위해 더 큰 모델이나 디바이스 최적화가 필요합니다.

---

 

본 논문은 기존의 단일 화자 음성 번역 시스템의 한계를 극복하고, 실제 다중 화자 환경에서 사용 가능한 공간 인식 기반 실시간 음성 번역 시스템을 제안했습니다. 이 기술은 향후 스마트 이어폰이나 AR/VR 기기와 결합되어, 외국어 대화의 장벽을 허물고 자연스러운 커뮤니케이션을 가능하게 할 것입니다.

 

향후에는 더 많은 고품질 데이터를 활용한 모델 고도화와 실시간 대응력 향상을 통해, 소음 환경에서도 더욱 깨끗하고 정확한 번역 음성을 제공할 수 있을 것으로 기대됩니다.

---

참고자료

• 논문) Spatial Speech Translation: Translating Across Space With Binaural Hearables (링크)
• 사이트) 허깅페이스 모델 카드 (링크)
• 영상) 모델 데모 시연 영상 (링크)

---

Q&A

 

Q. 공간 인식 음성 번역 기술은 기존 번역기와 어떻게 다른가요?

기존 번역기는 하나의 음성만 처리하고 위치 정보가 없지만, 본 기술은 여러 화자의 음성을 각각 분리하고, 원래 위치와 억양까지 그대로 반영하여 번역합니다.

 

Q. 이 시스템은 어떤 하드웨어에서 동작하나요?

소니 WH-1000XM4와 같은 노이즈 캔슬링 헤드폰에 외부 마이크를 부착하고, 스마트폰이나 노트북에서 음성 처리를 수행합니다.

 

Q. 소음 많은 환경에서도 정확한 번역이 가능한가요?

네, 다양한 소음 환경을 시뮬레이션한 합성 데이터로 훈련하여, 실제 사용 환경에서도 강건한 성능을 보여줍니다.