OmniRe : 동적 객체 포함된 도시 장면 재구성 프레임워크

 

다양한 동적 객체를 포함한 고해상도 도시 장면 재구성을 위한 통합 3DGS 프레임워크

 

OmniRe는 다양한 동적 객체를 포함한 고해상도 도시 장면을 효율적으로 재구성하는 통합적인 3DGS(3D Gaussian Splatting) 프레임워크입니다.

 

기존의 도로 주행 장면 재구성 방법들은 주로 차량에만 초점을 맞추고, 보행자 및 자전거 이용자와 같은 비차량 동적 객체를 간과하여 장면 재구성의 완성도를 떨어뜨렸습니다. 이는 특히 복잡한 도시 환경에서 다양한 객체와 동작을 정확히 모델링하는 데 어려움을 야기했습니다.

OmniRe는 Gaussian 표현에 기반한 동적 신경 장면 그래프를 사용하여, 차량뿐만 아니라 보행자, 자전거 이용자 등 다양한 동적 객체를 포괄적으로 재구성합니다. 이를 위해 각 객체의 동적 움직임을 표현하기 위한 로컬 기준 공간을 구성하여 정확한 재구성과 실시간 시뮬레이션이 가능하도록 하였습니다.

 

OmniRe 모델의 특징은 다음과 같습니다.

• 다양한 동적 객체 재구성
  차량, 보행자, 자전거 이용자 등 다양한 동적 객체를 각각의 로컬 기준 공간에서 모델링합니다.
• 실시간 시뮬레이션 가능
  재구성된 장면에서 모든 객체가 실시간으로 (~60 Hz) 시뮬레이션에 참여할 수 있습니다.
• 높은 정확도
  Waymo 데이터셋에서 기존 방법들보다 정성적, 정량적으로 뛰어난 성능을 보였습니다. 특히 동적 객체인 보행자와 차량에서 큰 성능 향상을 달성했습니다.

 

사진 : OmniRe 방식 개요

 

OmniRe의 주요 아키텍처는 다양한 동적 객체를 효과적으로 처리할 수 있도록 설계된 Gaussian Scene Graph입니다. 이 그래프는 다음과 장면에서 하늘을 표현하는 '하늘노드', 건물이나 도로 등 정적 배경을 표현하는 '배경노드', 차량 등의 강체 객체를 표현하는 '강체노드', 보행자나 자전거 이용자 등 비강체 객체를 표현하는 '비강체 노드'로 구성됩니다. 각 객체는 각자의 로컬 공간에서 모델링되며, 이들은 시간의 흐름에 따라 변형되거나 이동됩니다. 그리고나서 이들은 세계 좌표계로 변환되어 하나의 장면을 구성하게 되는데 이후 실시간 렌더링 및 전체 장면 재구성과 움직임의 정확한 조정 등의 최적화가 이뤄집니다.

 

 

참고) 프로젝트, 논문, 코드