Moonshine : 실시간 음성 인식 모델의 새로운 접근

1. 서론

현대 사회에서 실시간 음성 인식 기술은 빠르게 발전하고 있으며, 발표 중 실시간 자막 제공, 청각 장애인을 위한 접근성 도구, 스마트 기기 및 웨어러블의 음성 명령 처리 등 다양한 영역에서 필수적입니다. 그러나 이러한 기술이 저비용 하드웨어에서 원활히 작동하려면 높은 정확성과 낮은 지연 시간이 필요합니다. 특히, 인터넷 연결 없이 동작하는 장치에서는 연산 자원의 한계로 인해 더욱 도전적입니다.

 

최근 OpenAI의 Whisper는 일반적인 음성 인식 정확도를 크게 향상시켰으나, 고정된 길이의 입력을 요구하여 저지연 환경에서는 한계가 있었습니다. 이에 대한 해결책으로 소개된 Moonshine은 Whisper의 장점을 유지하면서도 실시간 처리에 최적화된 모델입니다. 이 글에서는 Moonshine의 구조와 그 혁신적 접근 방식을 살펴보겠습니다.

 

---

2. 본론

2.1. 기존 방식의 문제점

Whisper 모델은 고정된 30초 길이의 오디오 입력을 요구하며, 이를 위해 짧은 오디오 데이터는 0으로 패딩됩니다. 이는 짧은 입력의 경우에도 불필요한 계산 비용을 증가시켜, 최소 지연 시간이 500밀리초 이상 발생하는 문제를 야기했습니다. 이러한 구조적 제약은 저지연 환경에서의 실시간 처리에 적합하지 않았습니다.

 

2.2. 접근 방식

Moonshine은 기존 Whisper 모델의 고정 길이 인코더 문제를 해결하기 위해 가변 길이 인코딩을 도입했습니다. 이를 통해 오디오 입력 길이에 따라 연산 요구량이 비례적으로 증가하도록 설계되었습니다. 또한, 위치 임베딩 방식으로 Rotary Position Embedding(RoPE)을 채택하여 성능을 최적화했습니다.

 

Moonshine은 Whisper의 엔코더-디코더 구조를 기반으로 하되, 데이터 전처리 및 학습 방법을 개선하여 효율적인 모델 훈련을 가능하게 했습니다.

 

 

그림 : Moonshine의 모델 아키텍처

 

2.3. 세부 적용 기술

1) Rotary Position Embedding (RoPE)
RoPE는 기존의 절대 위치 임베딩 대신 각도 기반 임베딩 방식을 적용하여 변환기(transformer) 모델에서 위치 정보를 보다 효율적으로 처리합니다. 이는 긴 문장이나 다양한 길이의 입력에 대해 일관된 성능을 보장합니다.

 

ChatGPT는 RoPE를 '지도를 읽는 방식'과 유사하다고 설명했습니다. 절대위치 임베딩 방식의 경우, 정해진 규칙에 따라 문장 내의 각 단어의 위치를 순서를 나타내는 숫자로 표시했으나 (예: 1, 2,3),  RoPE의 경우, 단어 간의 위치를 각도(sin, cos 함수 변환값)로 표현하고 회전 변환을 적용해 상대적 위치를 반영한다고 합니다. 

 

 

2) 데이터 전처리 및 학습
Moonshine은 약 200,000시간의 오디오 데이터로 학습되었으며, 공개된 ASR 데이터세트와 자체 수집한 데이터를 병합했습니다. 자체 데이터는 Whisper 모델을 활용해 라벨링했으며, 불확실한 데이터는 필터링하여 학습 데이터의 품질을 높였습니다.

 

3) 경량화와 효율성
Moonshine Tiny 모델은 Whisper tiny.en 대비 약 5배의 연산 효율성을 제공하며, 모델의 크기를 줄이면서도 성능 저하 없이 실시간 처리가 가능합니다.

 

2.4. 제약사항

Moonshine은 짧은 오디오 데이터(1초 미만)에 대한 일반화가 부족하여 특정 데이터세트에서 성능이 저하될 수 있습니다. 이를 개선하기 위해 더 많은 데이터 수집과 컨텍스트 제공 기법이 필요합니다.

 

---

3. 결론

직접 HuggingFace 상에 공개된 브라우저 상에서 동작하는 데모를 이용해 마이크 음성으로 테스트를 해 본 바로는, 한국어 음성은 지원되지 않았지만, 영문음성의 경우는 tiny 모델에서 아주 잘 되는 것을 확인할 수 있었습니다. 제공되는 기능과 요건만 잘 맞는다면 괜찮은 활용처가 나올 수 있을 것 같습니다. 

 

Moonshine은 실시간 음성 인식에서 저지연 및 고효율 처리를 가능하게 하여 스마트 기기, 웨어러블, 접근성 도구 등 다양한 응용 분야에서 활용될 수 있습니다. 모델의 제약이 개선될 경우, 짧은 오디오 클립에서도 높은 정확도를 유지할 수 있어 더욱 폭넓은 응용이 기대됩니다.

 

---

4.참고자료

• Moonshine 논문 : https://arxiv.org/pdf/2410.15608
• 코드(깃헙)

GitHub - usefulsensors/moonshine: Fast and accurate automatic speech recognition (ASR) for edge devices

• 소개 블로그

Introducing Moonshine, the new state of the art for speech to text

• 데모 (HuggingFace) - Gradio 버전

Moonshine ASR - a Hugging Face Space by mrfakename

• 데모 (HuggingFace) - Moonshine-web

 

Moonshine Web - a Hugging Face Space by UsefulSensors

 

 

5. Q&A

Q. Moonshine이 Whisper와 비교하여 어떤 이점이 있나요?
Moonshine은 Whisper에 비해 연산 효율성이 약 5배 높으며, 고정 길이 입력의 제약을 해결하여 저지연 환경에서도 성능을 유지합니다.

 

Q. RoPE는 어떤 역할을 하나요?
RoPE는 위치 정보를 효율적으로 처리하여 다양한 길이의 입력에 대해 일관된 성능을 제공합니다.

 

Q. Moonshine의 한계는 무엇인가요?
1초 미만의 짧은 오디오 클립에 대한 일반화 성능이 부족하여 특정 데이터세트에서 성능 저하가 발생할 수 있습니다.