LayerPano3D : 3D 파노라마 장면을 생성하는 프레임워크

텍스트 프롬프트로 3D 파노라마 장면을 생성하는 프레임워크

LayerPano3D는 텍스트 프롬프트를 통해 몰입감 높은 3D 파노라마 장면을 생성하는 새로운 프레임워크입니다.

 

기존 3D 장면 생성 방법은 연속적인 장면 확장 시 의미적 일관성이 떨어지거나, 복잡한 계층 구조를 제대로 처리하지 못하고 시야각의 제한을 받는 문제가 있었습니다.

 

LAYERPANO3D는 2D 파노라마를 여러 깊이 계층으로 분해하고, 각 계층에서 숨겨진 공간을 생성하여 복잡한 장면 구조를 처리합니다. 이 방식은 텍스트 지시 기반의 앵커 뷰 생성과 다층 3D 파노라마를 결합해 360도 전방위적 시야와 자유로운 탐색을 제공합니다.

 

LayerPano3 프레임워크의 특징은 다음과 같습니다. 

• 텍스트 지시 앵커 뷰 생성
  텍스트 프롬프트를 기반으로 4개의 앵커 뷰를 생성하여, 일관된 수평선과 고품질의 파노라마를 보장
• 다층 3D 파노라마
  여러 깊이의 계층을 만들어 복잡한 장면의 계층 구조와 가려진 부분을 처리하고, 3D Gaussian으로 변환해 자유로운 탐색이 가능
• 전방위적 일관성
  360도 시야각 내에서 일관된 모습과 몰입감 있는 탐색 경험을 제공
• 자동화된 파이프라인
  특정 장면에 맞는 탐색 경로 없이도 자동으로 장면을 생성하여 사용자 친화적인 인터페이스를 제공

 

사진 : LayerPano3D 파이프라인

 

 

파이프라인은 다음의 3단계로 구성됩니다.

1. 참조 파노라마 생성: 텍스트 프롬프트로 4개의 앵커 뷰를 생성하고, 이를 기반으로 360도 파노라마 이미지를 확장합니다.
2. 다층 파노라마 구성: 생성된 참조 파노라마를 다양한 깊이의 계층으로 분해하고, 각 계층에서 가려진 영역을 복원합니다.
3. 3D Gaussian 최적화: 다층 파노라마를 3D Gaussian으로 변환하여, 사용자가 자유롭게 3D 공간을 탐색할 수 있도록 장면을 최적화합니다.

 

사진 : LAYERPANO3D 개요

 

 

참고) 프로젝트, 논문, 영상