Follow-Your-Emoji : 원하는대로 만드는 초상화 애니메이션 기술

이미지 + 얼굴 표정/ 안면 동작 = '원하는대로 초상화' 애니메이션 생성 기술

 

Follow-Your-Emoji는 입력된 정적 이미지를 기반으로, 목표로 하는 표정과 동작을 적용하여 초상화의 정체성과 시간적 일관성이 유지되는 애니메이션을 생성하는 기술입니다. 

 

모델 학습을 위해 비디오 클립과 랜덤 참조 프레임(무작위 선택 프레임), 그리고 표정 인식 랜드마크(mediapipe 이용 3D 키포인트 추출한 것을 2D 랜드마크로 투영)를 사용하고, 얼굴 표정의 미세한 변화를 인식하고 반영하도록 돕는 세밀한 표정 손실 함수를 도입했습니다. 또한 길이가 긴 애니메이션 생성 시 시간적인 일관성 유지를 위해 키 프레임을 먼저 생성하고 이를 기반으로 중간 프레임을 생성하는 점진적 생성 전략을 사용합니다.

 

이외에 초상화 애니메이션 시스템의 성능을 평가, 검증하기 위한 벤치마크 데이터셋으로 EmojiBench를 함께 공개했습니다.

 

참고) 프로젝트, 논문, 영상

 

 

사진 : Follow-Your-Emoji 개요

 

 

사진 : 생성된 영상 예시