AniTalker : 자연스럽게 말하는 대화 영상 생성 프레임워크

자연스럽게 말하는 대화 영상을 생성하는 프레임워크

 

AniTalker는 입력 오디오와 참조할 얼굴사진을 이용해 자연스럽게 말하는 대화 영상을 생성하는 프레임워크입니다. 

 

입술 동기화 등에 언어적인 부분에 초점을 맞춘 다른 모델과는 달리 AniTalker는 범용 모션 표현을 사용해 목소리의 속도, 높낮이, 감정에 따른 입술, 얼굴표정, 눈짓 등 미묘한 표정과 머리 움직임, 얼굴의 각도 및 방향 등을 생성하고 조작하는데 탁월한 성능을 보여줍니다. 확산 모델과 분산 어댑터를 통합해 상세하고 사실적인, 그러면서도 다양하고 제어 가능한 얼굴 움직임을 만듧니다. AniTalker가 움직임 표현을 향상시키는 두 가지 전략은, 동일 ID 내의 소스프레임에서 대상 비디오 프레임을 재구성해서 세밀한 동작 표현을 학습하는 것과 서로 다른 얼굴의 정보를 최소화해 모션을 인코딩하는 것입니다.

 

이 기술은 가상/증강 현실에서 사용되는 아바타나 애니메이션 캐릭터 혹은 비디오 내용의 편집/합성 등에 활용될 수 있는데 최근에 특히 이런 기술들이 많이 등장하고 있는 것 같습니다.

 

 

 

사진: AniTalker 프레임워크

 

참고) 프로젝트, 논문, 코드