LE3D : 고화질로 3D 장면 렌더링, 재구성하는 기술

고화질의 3D 장면 렌더링 재구성 기술

 

 

LE3D(Lighting Every Darkness with 3DGS)는 여러 각도에서 찍은 노이즈가 많은 원시 이미지를 빠르게 학습해서 실시간으로 3D 장면으로 렌더링해서 재구성하는 기술입니다.

 

이를 위해 3DGS (3D Gaussian Splatting)이라는 새로운 방법을 사용하게 되는데 이는 장면들을 많은 작은 3D Gaussian 점들로 표현해 실시간을 렌더링하는 방식입니다. 기존 방식들과의 차별화되는 특징으로는 상대적으로 아주 적은 훈련 시간이 필요하다는 것과 노이즈가 많은 이미지에서도 고화질의 HDR 이미지를 생성할 수 있다는 것, 그리고 2K 해상도의 고화질 이미지를 실시간 렌더링해 낼 수 있다는 것 등이 있습니다.

 

사진 : LE3D 의 파이프라인

 

 

이미지 리포커스 효과도 줄 수 있다고 하는데, 이를 위해 장면의 깊이 맵을 사용해 개체 표면에 가우시안을 집중시키거나(Depth Distortion Regularization) 근접 및 원거리 가우시안 위치를 조절해 장면 구조를 세밀하게 하는 작업 (Near-Far Regularization)을 통해 포커스가 필요한 영역을 정확하게 재조정할 수 있게 만든다고 합니다. 즉, 초기 장면을 렌더링하고 깊이 맵을 이용해 원하는 초점 영역을 지정한 뒤 리포커싱을 적용해서 전경 또는 배경의 초점을 조정함으로써 리포커스 효과를 제공하는 것이죠.

 

아쉽게도 테스트 해 볼 수 있는 코드가 아직 공개되지 않았습니다. 깃헙 레포지토리에는 결과 영상만 올라와 있습니다. 

 

참고) 프로젝트, 논문, 깃헙