SPAR3D : 단일 이미지에서 3D 객체를 안정적으로 복원하는 새로운 방법론

 

인공지능과 컴퓨터 비전의 발달은 단일 이미지로부터 3D 객체를 재구성하는 기술에 새로운 가능성을 열었습니다. 이 기술은 영화 제작, 증강현실(AR), 제조업 등 다양한 산업에서 활용될 수 있습니다. 하지만 단일 이미지 기반 3D 복원은 본질적으로 불완전한 문제입니다. 입력 이미지에서 보이는 표면 정보는 비교적 쉽게 추출되지만, 가려진 영역의 재구성을 위해서는 강력한 3D 사전 지식이 필요합니다.

 

최근의 연구는 회귀 기반 방법과 생성 모델 기반 방법으로 나뉩니다. 회귀 방식은 빠르게 가시적 표면을 복원하지만, 가려진 영역에서 불확실성을 처리하는 데 한계가 있습니다. 반면, 생성 모델은 이러한 불확실성을 더 잘 처리하지만 계산 비용이 크고 입력 이미지와의 정렬이 부족한 경우가 많습니다. 이러한 상황에서 SPAR3D는 두 가지 접근법의 장점을 결합하여 복잡한 문제를 해결하고자 합니다. (참고로 SPAR3D를 공개한 곳은 Stability.ai 와 일리노이대 연구진들입니다)

그림 : SPAR3D의 개요

 

 

이번 글에서는 SPAR3D의 주요 접근 방식과 기술적 기여를 살펴보고, 이를 통해 단일 이미지에서 고품질의 3D 재구성을 가능하게 하는 방법을 설명합니다.

 

---

기존 방식의 문제점

• 회귀 기반 모델
  가시 표면의 재구성 속도는 빠르지만, 이미지와 3D 객체 간의 단순 일대일 매핑 가정을 통해 학습됩니다. 이는 occluded regions(가려진 영역)의 표면과 텍스처를 제대로 복원하지 못하는 결과를 초래합니다.
• 생성 모델
  불확실한 영역의 처리를 위해 확률적 모델링 방식을 채택하지만, 고해상도 3D 재구성에서 계산 비용이 증가하며, 입력 이미지와의 표면 정렬 문제가 발생합니다.

 

SPAR3D의 접근 방식

 

그림 : SPAR3D의 구조

 

위의 그림은 SPAR3D의 두 가지 주요 단계인 포인트 샘플링(point sampling)과 메싱(meshing) 과정을 시각적으로 설명하고 있습니다. 크게 보면 다음과 같은 두 단계로 나뉩니다.

• 포인트 샘플링 단계(Point Sampling Stage)
  가벼운 포인트 확산 모델(diffusion model)을 사용하여 희소 3D 포인트 클라우드(3D 좌표와 색상 정보를 가진 점들의 집합)를 생성합니다. 이 과정은 낮은 해상도로 이루어지며 빠른 샘플링 속도를 보장합니다.
• 메싱 단계(Meshing Stage)
  포인트 클라우드와 입력 이미지를 모두 사용해 고품질의 3D 메시(mesh)를 생성합니다. 이를 통해 가시 표면과 가려진 영역 모두를 효율적으로 복원합니다.

 

위 그림에서 Triplane Transformer는 입력 데이터를 기반으로 텍스처, 조명, 표면구조를 예측합니다. 

 

 

SPAR3D에 적용된 세부 적용 기술

• 포인트 디퓨전 모델(Point Diffusion Model)
  포인트 클라우드 생성을 위한 확산 모델로, 각 점은 XYZ 좌표와 RGB 채널로 구성됩니다. 노이즈를 점진적으로 제거하며, 샘플링 정확도를 높이기 위해 Classifier-Free Guidance를 사용합니다.
• 트리플레인 변환기(Triplane Transformer)
  포인트 클라우드와 이미지를 입력으로 받아 고해상도 특징 맵을 생성합니다. 이 맵은 표면, 텍스처, 조명을 복원하는 데 사용됩니다.
• 디퍼렌셔블 렌더링(Differentiable Rendering)
  생성된 메시를 기반으로 새로운 시점에서 이미지를 렌더링합니다. 이 과정에서 그림자와 반사를 효과적으로 모델링하기 위해 몬테카를로 적분 방법을 사용합니다.

그림 : 디퍼렌셔블 렌더링 과정

 

• 대화형 편집(Interactive Editing)
  사용자는 포인트 클라우드 수준에서 간단히 편집 작업을 수행할 수 있으며, 이 편집 내용은 최종 메시에 즉각적으로 반영됩니다.

---

정리하며

SPAR3D는 단일 이미지를 이용해 3D 모델을 만들어 낼 때, 회귀 모델의 속도와 생성 모델의 정밀성이라는 두 마리 토끼를 다 잡았습니다. 이를 통해 다양한 응용 분야에서 활용 가능한 결과물을 손쉽게 만들어 낼 수 있게 되었죠. 

 

저는 개인적으로 이렇게 만들어진 결과물을 이용해 물리적인 3D 출력물을 만드는데 관심이 있습니다. 몇년 전 사두고 제대로 써먹지도 못하고 있는 3D 프린터를 이용해 출력을 해 보는거죠. 이제까지도 비슷한 모델들이 제법 나왔었는데 대부분 온라인에서 활용하는 용도로 나온 것들이 많았고 최종 3D 프린팅 출력용으로는 모자람이 있는 것 같아서 시도를 해 보진 않았었는데 이번에는 한번 해 봐야할 것 같습니다. 혹시나 시도해 보고 결과가 나오면 그것도 공유하는 글을 하나 써야겠네요. 

---

참고자료

• SPAR3D 프로젝트 (링크)
• 논문) SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images (링크)
• 코드) SPAR3D Github (링크)
• 데모) SPAR3D HuggingFace Demo (링크)

---

Q&A

Q. SPAR3D의 주요 혁신은 무엇인가요?

두 단계 설계를 통해 확률적 모델링과 빠른 계산 효율성을 결합한 점입니다.

 

Q. SPAR3D는 어떤 응용 분야에서 활용될 수 있나요?

영화 제작, 증강현실, 제조업 등 단일 이미지 기반 3D 객체 생성이 필요한 분야에서 활용될 수 있습니다.

 

Q. SPAR3D는 기존 방법에 비해 어떤 성능 이점을 제공하나요?

SPAR3D는 속도(0.7초), 정밀도(Chamfer Distance 감소), 및 사용 편의성(대화형 편집 지원)에서 우수한 성능을 보입니다.