DreamGaussian4D : 3D 영상을 생성하는 기술

3D 영상을 생성하는 기술

 

DreamGaussian4D는 시간에 따라 변화하는 동적 3D 장면(4D 콘텐츠)을 생성하는 최신 기술입니다. 이 기술은 콘텐츠 생성에 소요되는 시간은 줄이면서도 고품질의 사실적인 움직임을 만들어 낼 수 있고 생성된 모델은 일반적으로 많이 사용되는 Blender나 언리얼 엔진 같은 곳에서 쉽게 사용될 수 있어 애니메이션, 게임, 가상현실 등의 분야에 사용될 수 있습니다.

 

DreamGaussian4D는 이미지에서 4D Gaussian Splatting을 생성하는 단계와, 비디오에서 비디오로 텍스처를 정제하는 단계를 거쳐 장면을 만들어 냅니다. 즉, 이미지에서 고품질의 정적 3D 모델을 만들고, 그 다음에 모델의 위치, 회전, 크기 변화를 예측해 시간에 따른 움직임을 추가합니다. 그리고는 모델의 텍스처를 프레임 별로 개선해서 움직이는 중에도 일관된 품질로 보이도록 만들게 됩니다. 이 과정에서 Gaussian Splatting 기술과 4D (3D공간 + 시간) 공간을 6개의 2D 평면으로 분해해 처리하는 HexPlane 기술을 사용한다고 합니다. 

 

참고) 프로젝트, 논문, 코드, 데모

 

 

사진 : DreamGaussian4D 프레임워크