AI 탐구노트

다양한 동적 객체를 포함한 고해상도 도시 장면 재구성을 위한 통합 3DGS 프레임워크 OmniRe는 다양한 동적 객체를 포함한 고해상도 도시 장면을 효율적으로 재구성하는 통합적인 3DGS(3D Gaussian Splatting) 프레임워크입니다. 기존의 도로 주행 장면 재구성 방법들은 주로 차량에만 초점을 맞추고, 보행자 및 자전거 이용자와 같은 비차량 동적 객체를 간과하여 장면 재구성의 완성도를 떨어뜨렸습니다. 이는 특히 복잡한 도시 환경에서 다양한 객체와 동작을 정확히 모델링하는 데 어려움을 야기했습니다.OmniRe는 Gaussian 표현에 기반한 동적 신경 장면 그래프를 사용하여, 차량뿐만 아니라 보행자, 자전거 이용자 등 다양한 동적 객체를 포괄적으로 재구성합니다. 이를 위해 각 객체의 동적 움직..

사실적인 3D 아바타를 생성하는 모델 Gaussian Head Avatar는 사실적인 3D 아바타를 생성하는 모델입니다. Gaussian Splatting을 이용해 적은 데이터만으로도 2K 해상도의 제어 가능한 표정으로 현실적인 얼굴 아바타를 만들 수 있다고 하죠. 아무래도 몸 전체 대비 얼굴 부분은 움직임의 폭이 작기 때문에 유리한 측면이 있겠지만 한편으론 개별 사람의 특징이 한곳에  모여있는 곳이기도 하다보니 어중간한 품질로 했다가는 티가 나기 십상입니다. Gaussian Head Avatar는 이런 문제를 해결한 아주 사실적이고 세밀한 표현까지 지원하는 얼굴 아바타를 생성할 수 있도록 해 줍니다. 제어 가능한 3D 가우스 스플래팅을 이용해 아바타 얼굴 모양을 만들고, 동적인 표현을 모델링하기 위해 ..

비디오 업샘플링 모델을 이용해 저해상도의 3D 모델을 고해상도로 변환하는 방법 SuperGaussian은 기존의 비디오 업샘플링 모델을 활용하여 저해상도의 3D 모델을 고해상도로 변환하는 방법입니다. 우선 NeRF, Gaussian Splats, 저해상도 Mesh 데이터 등의 다양한 형태의 저해상도의 3D 모델을 입력으로 받습니다. 이 모델을 이용해 여러 각도에서 촬영한 비디오로 변환한 뒤, 미리 학습된 비디오 업샘플링 모델을 사용해 고해상도 비디오로 변환합니다. 그리고나서 Gaussian Splatting 기법을 사용해 업샘플링된 비디오로 고해상도의 3D 모델을 재구성하게 됩니다.  해당 기술은 단계 별로 모듈화되어 있어 부분적으로 다른 최신 기술로 대체할 수 있으며, 다양한 종류의 3D 입력 데이터 ..