SuperGaussian: 3D 모델 업스케일링 기법

비디오 업샘플링 모델을 이용해 저해상도의 3D 모델을 고해상도로 변환하는 방법

 

SuperGaussian은 기존의 비디오 업샘플링 모델을 활용하여 저해상도의 3D 모델을 고해상도로 변환하는 방법입니다. 우선 NeRF, Gaussian Splats, 저해상도 Mesh 데이터 등의 다양한 형태의 저해상도의 3D 모델을 입력으로 받습니다. 이 모델을 이용해 여러 각도에서 촬영한 비디오로 변환한 뒤, 미리 학습된 비디오 업샘플링 모델을 사용해 고해상도 비디오로 변환합니다. 그리고나서 Gaussian Splatting 기법을 사용해 업샘플링된 비디오로 고해상도의 3D 모델을 재구성하게 됩니다. 

 

해당 기술은 단계 별로 모듈화되어 있어 부분적으로 다른 최신 기술로 대체할 수 있으며, 다양한 종류의 3D 입력 데이터 포맷을 지원하고 생성한 비디오 영상을 이용해 대규모 3D 데이터셋 없이도 고해상도 3D 모델을 생성할 수 있다는 특징이 있습니다.

 

참고) 프로젝트, 논문

 

 

사진 : SuperGaussian의 파이프라인

 

 

사진 : 적용 예시