VALL-E X : Cross-lingual 음성 합성 모델

 

마이크로소프트가 공개한 다국어 TTS 모델

 

VALL-E X는 Microsoft가 개발한 Cross-lingual 음성 합성 모델로, 하나의 언어로 된 음성을 다른 언어로 변환합니다. 이 모델은 음성의 감정과 음색을 유지하면서, 학습된 데이터 없이 새로운 언어로 음성을 생성할 수 있는 기능을 갖추고 있습니다. 이를 통해 제로샷 텍스트-음성 합성 및 음성-음성 번역을 지원합니다. VALL-E X는 외국 억양을 효과적으로 제어할 수 있으며, 감정 유지 및 코드 스위칭 기능도 제공합니다. 사용상의 윤리적 문제를 예방하기 위한 조치도 고려되었다고 하죠.

 

텍스트 프롬프트, 오디오 파일 등을 입력으로 해서 다국어 TTS와 제로샷 음성 복제 기능을 제공하는데, 6GB VRAM의 GPU 혹은 CPU에서도 동작된다고 합니다. 공개된 github repo 내용을 보면 영어, 일본어, 중국어가 지원되지만 아쉽게도 한국어는 포함되어 있지 않았습니다. 영어로 테스트를 해 봤는데 흠... 제가 제 목소리도 익숙치 않은데다 영어 발음 자체도 유창하지 않아서인지 복제된 음성도 마음에 썩 들지는 않았습니다. 혼자 있어도 발현되는 이 놈의 영어 울렁증은 언제 고쳐질건지... T^T

 

 

사진 : VALL-E X 개요

 

사진 : VALL-E X에서 제공하는 로컬 웹 기반 도구의 사용자 인터페이스

 

 

 

 

참고) 코드, 데모

• 코드는 VALL-E X의 비공식 오픈소스 구현체입니다.