FreeTimeGS : 언제 어디서든 등장하는 자유로운 가우시안 프리미티브 기반의 동적 장면 재구성 기술

 

 

3D 콘텐츠는 이제 영화, 게임, 메타버스, 가상현실(VR) 등 다양한 산업에서 핵심 기술로 자리잡고 있습니다. 특히 ‘실시간’으로 변화하는 장면을 3차원으로 재현하는 기술은, 몰입감 있는 사용자 경험을 제공하기 위해 매우 중요합니다. 이를 가능케 하는 핵심 기술 중 하나는 바로 동적 장면 재구성(Dynamic Scene Reconstruction)입니다.

 

최근에는 영상이나 이미지로부터 새로운 시점에서의 장면을 생성해주는 View Synthesis 기술이 각광받고 있습니다. 그러나 현실 세계에서 발생하는 빠르고 복잡한 움직임을 정확히 모델링하는 데에는 기존의 방법들이 한계를 드러내고 있죠. 특히, 사전 정의된 기준 좌표계(정준 공간)에서만 동작하거나, 복잡한 최적화를 요구하는 기존 모델들은 복잡한 동적 장면을 다루기 어렵습니다.

 

이러한 문제를 해결하기 위해 등장한 것이 바로 이번 논문에서 제안한 FreeTimeGS입니다. 이 기술은 시간과 공간의 제약 없이 자유롭게 등장하고 움직이는 가우시안 프리미티브(Gaussian Primitive)를 기반으로, 복잡한 동적 장면을 보다 현실감 있게 재구성할 수 있게 합니다. 즉, 움직이는 영상에서 객체를 실시간 추적하고 이를 다른 재구성할 수 있게 된다는 얘기입니다. 

 

그림 : 다른 모델과의 생성 결과물의 성능 비교 예시 (선명하고 빠름)

---

FreeTimeGS

1) 기존 방식의 문제점

 

기존의 동적 장면 재구성 방법들은 대부분 다음과 같은 접근 방식을 사용했습니다.

• 정준 공간(canonical space)에 고정된 3D 가우시안 프리미티브를 정의한 후에
• 시간에 따라 이들을 관찰 공간으로 변형시키기 위해 복잡한 변형 필드(deformation field)를 학습

이 방식은 단순하거나 느린 움직임을 가진 장면에는 효과적일 수 있으나, 빠르고 복잡한 움직임이 있는 장면에서는 다음과 같은 문제가 발생합니다.

• 긴 거리의 대응 관계(long-range correspondence)를 학습해야 하므로 최적화가 매우 어려움
• RGB 영상만으로는 정준 공간과 실제 장면 사이의 정확한 변형을 복원하기 어려움

정준공간 (Canonical space)이란?
모든 물체나 장면을 일관된 기준 좌표계에서 표현하는 공간으로, 어떤 3D 물체가 여러 시간대나 시점에서 다르게 보이더라도, 그것을 항상 같은 기준 위치와 모양으로 저장해 두는 공간을 의미합니다.

사용하는 목적
장면의 복잡성을 줄이고 학습을 쉽게 하기 위한 것입니다. 모든 시간대, 시점을 따로 표현할 필요없이, 하나의 기준 형태와 변형만 알면 되기 때문이죠.

 

2) 접근 방식

 

제안된 FreeTimeGS는 새로운 4차원(공간+시간) 표현 방식입니다.  이 방식은 다음과 같은 핵심 아이디어를 기반으로 합니다.

• 자유로운 가우시안 등장 : 가우시안 프리미티브가 특정 시간, 특정 위치에만 고정되지 않고 언제 어디서든 등장할 수 있음
• 명시적인 움직임 함수 도입 : 각 가우시안 프리미티브에 자체적인 속도(velocity)를 부여해 시간에 따라 인접한 위치로 이동할 수 있게 함

이러한 방식은 불필요한 시간 중복(redundancy)을 줄이고, 복잡한 움직임도 더 간결하게 표현할 수 있도록 도와줍니다.

 

가우시안 프리미티브 (Gaussian Primitive)
3차원 공간에서 하나의 '점'을 나타내는 대신, 가우시안 분포(정규분포)를 가진 부드러운 구름 모양의 입자로 표현한 작은 단위

 

 

그림 : 기술 구조도 (파이프라인)

 

3) 세부 적용 기술

• 가우시안 파라미터 : 각 프리미티브는 위치, 시간, 지속시간, 속도, 크기, 방향, 불투명도, 색상 계수(구면 고조파 기반)를 포함한 총 8가지 학습 가능한 파라미터로 구성됩니다.
• 움직임 함수(Motion Function) : 시간에 따른 위치 이동을 간단한 선형 함수로 표현해 최적화 난이도를 낮춥니다.
• 시간 불투명도(Temporal Opacity) : 프리미티브의 시간 영향력을 조절하는 함수로, 중요한 시간 구간만 학습되도록 돕습니다.
• 4D 정규화 손실 : 초기 학습 단계에서 일부 가우시안이 불투명도가 너무 높아 전체 최적화를 방해하는 문제를 완화하기 위해 고불투명도 패널티를 부여하는 간단한 정규화 항을 도입했습니다.
• 주기적 재배치 전략 : 일정 간격마다 활용도가 낮은 프리미티브를 정보가 많은 영역으로 재배치하여 자원 낭비를 줄입니다.
• 초기화 전략 : 2D-3D 매칭 및 KNN을 활용하여 프리미티브의 초기 위치와 속도를 정교하게 설정함으로써 학습 성능을 크게 향상시킵니다.

4) 제약사항

• 각 장면마다 초기화 및 최적화가 필요하므로 실시간 구성에는 시간이 소요됨
• 조명 변화(relighting)를 다루지는 않음. 즉, 빛의 방향이 바뀌는 경우 재구성이 불가능함

5) 활용가능 영역

 

실시간 동적 장면 재구성이 필요할 수 있는 영역에 적용될 수 있습니다.  예를 들어 자율주행차에서 도로 상황을 분석해 이에 대한 실시간 반응을 하는 곳이나 증강 현실 콘텐츠 제공 같은 분야가 있겠네요.

---

 

FreeTimeGS는 기존의 3D 가우시안 기반 동적 장면 재구성 방식이 가지는 한계를 뛰어넘는 혁신적인 4D 표현 방식을 제시합니다. 시간과 공간을 자유롭게 넘나드는 프리미티브와 선형적인 움직임 함수, 간결한 정규화 기법을 통해 더 나은 렌더링 품질과 높은 처리 속도를 동시에 달성할 수 있습니다.

 

실생활 적용 사례로는 실시간 AR/VR 콘텐츠 생성, 몰입형 게임, 영화 제작에서 고정밀 3D 뷰 생성 등에 큰 도움이 될 수 있습니다. 또한, 제약사항을 보완해 초기화 과정을 자동화하고, 조명 정보까지 포함시킨다면 더 넓은 활용 가능성도 기대할 수 있습니다.

---

 

참고자료

• 사이트) FreeTimeGS 프로젝트 페이지 (링크)
• 논문) FreeTimeGS: Free Gaussian Primitives at Anytime and Anywhere for Dynamic Scene Reconstruction (링크)
• 데모) FreeTimeGS를 이용해 생성된 결과물 데모 (링크)

 

---

Q&A

Q. 왜 기존의 정준 공간 기반 프리미티브 방식은 복잡한 움직임에 취약한가요?

정준 공간에서 모든 움직임을 매핑하려면 긴 거리의 정확한 대응을 찾아야 하며, RGB 정보만으로는 그 정확도가 낮아 최적화가 어려워집니다.

 

Q. FreeTimeGS는 어떻게 더 빠른 렌더링을 달성하나요?

선형적인 움직임 함수와 가우시안의 자유로운 등장 위치 설정을 통해 불필요한 연산을 줄이고, 실시간 수준의 속도를 구현합니다.

 

Q. 이 기술은 어떤 분야에서 특히 유용할까요?

실시간 3D 영상 처리, 가상현실 콘텐츠 제작, 스포츠/댄스 등의 동작 재현, 메타버스 아바타 생성을 위한 데이터 처리 등에 유용합니다.