목록FunCineForge (1)

AI 탐구노트

FunCineForge : 다양한 영화 장면에서의 제로샷 영화 더빙을 위한 통합 데이터셋 툴킷과 모델

영화나 드라마를 보다 보면, 배우의 입 모양과 목소리가 자연스럽게 맞아떨어지는 더빙이 얼마나 중요한지 느낄 수 있습니다. 이처럼 영상 속 캐릭터의 립 무브먼트에 맞춰 음성을 합성하는 기술을 영화 더빙(Movie Dubbing) 혹은 비주얼 보이스 클로닝(Visual Voice Cloning, V2C) 이라고 합니다. 기존 연구들은 주로 단일 화자가 카메라를 정면으로 바라보는 단순한 독백 장면에서만 잘 동작했습니다. 하지만 실제 드라마나 영화에는 얼굴이 가려지거나, 여러 화자가 동시에 등장하거나, 카메라가 자주 전환되는 복잡한 장면이 훨씬 더 많습니다. 이런 현실적인 환경에서는 기존 방법들이 제 성능을 내지 못한다는 근본적인 한계가 있었습니다. 이런 문제를 해결하기 위해 알리바바 그룹의 Tongyi Lab..
AI 기술 2026. 4. 7. 16:37
이전 Prev 1 Next 다음