목록대화 영상 생성 (1)

AI 탐구노트

AniTalker : 자연스럽게 말하는 대화 영상 생성 프레임워크

자연스럽게 말하는 대화 영상을 생성하는 프레임워크 AniTalker는 입력 오디오와 참조할 얼굴사진을 이용해 자연스럽게 말하는 대화 영상을 생성하는 프레임워크입니다.  입술 동기화 등에 언어적인 부분에 초점을 맞춘 다른 모델과는 달리 AniTalker는 범용 모션 표현을 사용해 목소리의 속도, 높낮이, 감정에 따른 입술, 얼굴표정, 눈짓 등 미묘한 표정과 머리 움직임, 얼굴의 각도 및 방향 등을 생성하고 조작하는데 탁월한 성능을 보여줍니다. 확산 모델과 분산 어댑터를 통합해 상세하고 사실적인, 그러면서도 다양하고 제어 가능한 얼굴 움직임을 만듧니다. AniTalker가 움직임 표현을 향상시키는 두 가지 전략은, 동일 ID 내의 소스프레임에서 대상 비디오 프레임을 재구성해서 세밀한 동작 표현을 학습하는 것..
AI 기술 2024. 8. 15. 11:10
이전 Prev 1 Next 다음