NPGA:Neural Parametric Gaussian Avatars

실시간으로 움직이는 실감나는 아바타를 만드는 것은 아주 어려운 일입니다. 머리카락이나 얼굴 표정 등 디테일한 부분들을 처리하기 위해서는 상당히 많은 컴퓨팅 연산과 고도의 컴퓨터 그래픽 기법이 필요하기 때문이죠. NPGA는 3D 가우시안 스플래팅 기법을 이용해 실제 사람처럼 움직이는 디지털 아바타를 만드는 방법으로 다양한 각도에서 찍은 비디오를 컴퓨터 그래픽과 기계 학습 기술로 처리해 사람의 머리를 매우 사실적으로 묘사한 3D 디지털 모델 (아바타)를 만들 수 있게 합니다.

 

우선 이 방식은 다양한 각도에서 찍은 비디오를 이용해 사람의 외모와 움직임에 대한 자세한 정보를 얻게 되며 얼굴 표면의 점들(위치, 색상 정보 포함, Gaussian Point Cloud) 정보를 이용해 대상 얼굴의 기본 3D 모델을 만든 뒤, 움직임과 표정 변화를 반영하기 위해 NPHM (Neural Parametric Head Models)을 통해 일련의 지침을 사용합니다. 이를 통해 고품질의 실제와 유사한 이미지, 표정 등에서의 뛰어난 표현력을 가진 아바타를 만들 수 있게 되는 것이죠. 만들어진 아바타는 영화나 비디오 게임, 가상현실(VR), 메타버스나 온라인 회의 등에서 사용할 수 있습니다.

 

참고) 프로젝트, 논문, 영상

 

 

사진: NPGA 방법의 개요