LivePortrait : 정적인 얼굴 이미지를 움직임을 부여하는 기술

LivePortrait는 정적인 초상화 이미지를 생동감 있게 움직이는 비디오로 변환하는 기술입니다. 실제 동영상들을 참고해서 얼굴 표정이나 머리 움직임 등을 추출하고 이를 제시된 정적 이미지에 적용하는 방식이죠. 6900만 개나 되는 많은 수의 고품질 프레임을 모델 학습에 이용하다 보니 다양한 상황들도 잘 지원한다고 합니다. 실시간 영상 변환이 되므로 이를 잘 활용하면 재미있는 콘텐츠나 실감 영상 혹은 화상회의 도구 등을 만들 수 있을 것 같습니다.

 

사용된 기술 요소로 Implicit Keypoints (얼굴의 특정 지점을 표시하는 간단한 점들로 얼굴 움직임을 효과적으로 제어할 때 사용), Stitching (이미지 간 매끄러운 연결을 통해 일관된 영상 생성에 사용), Retargeting(눈, 입 등의 특정 부분을 개별적으로 제어해서 원하는 움직임을 생성할 때 사용) 등이 있습니다.

 

특징으로는 효율적인 모델 구조를 들 수 있습니다. 모듈들이 최적화되어 있어 빠른 추론 속도를 제공하는데 RTX4090에서 12.8ms 수준이라고 합니다. 게다가 스티칭, 리타게팅 등의 기술이 적용되어 자연스런 표정이나 동작표현이 가능하고 다양한 입력 소스와 동작 비디오를 지원하는 유연성도 제공합니다.

 

사진 : LivePortrait 모델의 모듈 별 파이프라인

 

 

참고) 프로젝트, 논문, 코드