DimensionX: 단일 이미지에서 3D 및 4D 장면 생성

1. 서론

컴퓨터 비전 및 그래픽스의 발전은 현실감 있는 3D 및 4D 콘텐츠 생성에 핵심적인 역할을 합니다. 하지만 대규모 3D 및 4D 비디오 데이터셋의 부족은 단일 이미지로부터 고품질의 3D/4D 장면을 생성하는 데 주요한 한계를 초래합니다. 이 문제를 해결하기 위해 비디오 확산 모델이 등장하여 공간적, 시간적 요소를 활용한 생성 능력을 보여주고 있습니다.

 

최근 연구들은 비디오 확산 모델을 활용하여 정적 또는 동적 메쉬 렌더링에서 객체 수준의 콘텐츠를 생성하거나, 장면 수준에서의 점진적인 최적화를 시도하고 있습니다. 하지만 이들 방식은 공간적 및 시간적 요소를 개별적으로 제어하지 못해, 일관된 3D 및 4D 장면을 생성하는 데 한계를 가집니다.

 

DimensionX는 이러한 문제를 해결하고자 단일 이미지에서 공간 및 시간 요소를 분리하여 제어 가능한 비디오 확산을 통해 고품질의 3D 및 4D 장면을 생성하는 혁신적인 프레임워크입니다. 

---

2. 본론

2.1. 기존 방식의 문제점

기존의 비디오 확산 모델은 장면의 공간적 구조와 시간적 진화를 효과적으로 표현하지 못하며, 객체 수준에서만 제한된 성과를 보였습니다. 이로 인해 생성된 장면은 정합성이 떨어지고 현실감 있는 결과물을 얻는 데 어려움이 있었습니다.

 

2.2. DimensionX 모델 요약

DimensionX는 ST-Director라는 공간 및 시간 요소를 분리하는 새로운 모듈을 도입합니다. 이를 통해 공간 및 시간 요소를 독립적으로 학습하고 제어하여, 단일 이미지로부터 다각도 시점의 3D 및 4D 장면을 복원합니다.

 

그림 : 공간,시간 융합 제어 가능 비디오 생성, 다양한 카메라 움직임 지원

 

2.3. 기술적 세부 설명

그림 : DimensionX의 전체 파이프라인

 

 

윗 그림은 DimensionX의 파이프라인으로, 다음의 3가지 주요 부분으로 나뉩니다.

• ST-Director 기반의 제어 가능한 비디오 생성 (Controllable Video Generation)
  공간(S-Director)과 시간(T-Director)의 두 가지 모듈로 구성되어 각각 공간적, 시간적 변형을 제어합니다. LoRA 주입을 통해 영상의 공간 및 시간적 요소를 개별적으로 학습하고 분리할 수 있도록 합니다. 
• 3D 장면 생성 (3D Scene Generation)
  S-Director를 이용해 단일 이미지에서 생성된 비디오 프레임을 사용해 다각도에서 3D 장면을 복원합니다. 그리고, Trajectory-aware 매커니즘을 적용해 6개의 자유도를 가진 카메라 움직임 패턴을 지원합니다. 
• 4D 장면 생성 (4D Scene Generation)
  T-Director로 시간적 변화가 포함된 프레임을 생성한 후, S-Director를 활용해 각 프레임 간 다각도의 뷰를 추가로 생성합니다. 이후 Identiry-preserving Denoising 전략을 적용해 프레임간 배경과 객체 외형의 일관성을 보장합니다. 

---

3. 결론

DimensionX는 단일 이미지에서 고품질의 3D 및 4D 장면을 생성할 수 있는 강력한 도구로, 비디오 확산 모델의 새로운 가능성을 열었습니다. 이는 현실 세계의 장면 생성 및 대화형 환경 구축에 기여할 것으로 기대됩니다.

 

---

 

4. 참고자료

 

DimensionX 프로젝트 페이지

https://chenshuo20.github.io/DimensionX/

 

DimensionX 논문 

https://arxiv.org/pdf/2411.04928

 

DimensionX 코드 (깃헙)

GitHub - wenqsun/DimensionX: DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion

 

DimensionX 소개 영상

 

 

 

---

5. Q&A

Q. DimensionX는 어떤 데이터셋을 사용하여 훈련되었나요?

DL3DV-10K, OpenVid, RealEstate-10K 등 다양한 데이터셋을 활용하여 공간 및 시간 변형 데이터셋을 구축했습니다.

 

Q. ST-Director의 주요 기능은 무엇인가요?

ST-Director는 공간(S-Director)과 시간(T-Director) 요소를 분리하여 각각의 차원을 독립적으로 제어합니다.

 

Q. DimensionX가 기존 방법보다 뛰어난 이유는 무엇인가요?

기존 모델보다 더 높은 정합성과 현실감을 제공하며, 단일 이미지에서 3D 및 4D 장면을 복원하는 데 있어 뛰어난 성능을 보입니다.

---