Depth Pro : 제로샷 단일 이미지 깊이 추정 기술

 

1. 서론

 

단일 이미지를 보고 그 안에 있는 물체와 환경의 3D 깊이를 알아내는 기술은 요즘 다양한 분야에서 중요한 역할을 하고 있습니다. 이 기술은 가상현실, 영화 제작, 게임 디자인뿐 아니라 자율 주행 차량, 로봇 공학 등에서도 활용됩니다. 하지만 이 기술을 제대로 구현하려면 기존에는 특정 데이터나 카메라 정보가 꼭 필요했기 때문에 일반적으로 사용하기 어려운 경우가 많았습니다.

 

이런 한계를 극복하기 위해 나온 모델이 Depth Pro입니다. Depth Pro는 이미지를 찍은 카메라의 정보 없이도 단일 이미지에서 정확하고 세밀한 깊이 정보를 빠르게 추출할 수 있습니다. 특히, 카메라 초점 거리 등의 메타데이터 없이도 2.25메가픽셀(약 200만 화소)의 고화질 깊이 맵을 단 0.3초 만에 생성할 수 있어 매우 빠르고 실용적이라  실시간 처리와 높은 정확성을 요구하는 다양한 애플리케이션에 적합합니다. 

 

핵심 아이디어는 이미지의 작은 조각들을 분석한 다음, 이 정보를 조합해 전체 이미지의 깊이 맵을 만들어내는 것입니다. 이 모델은 기존 기술보다 더 빠르고, 더 선명하며, 더 정확한 결과를 제공합니다.

---

2. 본론

2.1 기존 방식의 제약사항

기존의 단일 영상 깊이 추정 모델들은 주로 도메인 특화 데이터나 특정 카메라 설정에 의존했습니다. 이로 인해 다양한 환경에서 일반화하기 어려웠으며, 초점 거리와 같은 메타데이터가 부족한 경우 정확도가 급격히 떨어졌습니다. 또한, 고해상도를 요구할 경우 연산 시간과 메모리 소모가 급증하는 문제도 있었습니다.

그림 : 타 모델과의 Depth Pro와의 비교

 

2.2 Depth Pro의 접근 방식

Depth Pro는 위 문제를 해결하기 위해 다음과 같은 방식을 사용합니다.

• 작은 조각(패치)을 분석 : 이미지를 작은 조각으로 나눠서 각 조각의 깊이를 분석합니다.
• 전체 맥락 분석 : 이미지 전체를 동시에 분석해 조각끼리 연결성을 확보합니다.
• 고정 해상도 사용 : 이미지 크기를 일정하게 유지해 빠르고 안정적으로 결과를 제공합니다.

이 과정에서 Depth Pro는 기존 방식보다 효율적으로 데이터를 처리할 수 있도록 설계되었습니다.

 

그림 : Depth Pro의 아키텍처

 

위 그림은 Depth Pro의 아키텍처를 설명하고 있습니다. 이미지 다운 샘플링과 패치 분할, 패치/이미지 인코더, DPT 디코더 등으로 구성되어 있는데 개략적인 설명은 다음과 같습니다. 

 

• 다중 스케일 처리 : 입력 이미지를 1536×1536 해상도로 고정한 뒤, 384×384 크기의 작은 패치로 나눕니다. 패치들은 서로 겹치도록 설계되어 경계선의 이음새 문제를 방지합니다.
• 패치 인코더와 이미지 인코더를 통한 정보 추출 : 패치 인코더는 작은 조각에서 세밀한 정보를 추출하고, 이미지 인코더는 전체 이미지를 보고 글로벌 문맥 정보를 제공합니다.
• 병합과 디코딩 : 패치에서 추출된 정보를 결합하고, DPT 디코더를 통해 고해상도 깊이 맵을 생성하며 이 과정은 연산 효율성을 극대화하면서도 높은 정확도를 유지하도록 해 줍니다. 

 

 

2.3 Depth Pro의 핵심 기술

(1) 학습 과정

Depth Pro는 두 단계로 학습됩니다.

• 범용화 학습 : 실제 사진과 가짜(합성) 이미지를 섞어 학습해 다양한 상황에서도 작동할 수 있도록 합니다.
• 세부 조정 학습 : 합성 이미지를 활용해 경계선과 세부 정보를 더 선명하게 만드는 작업을 합니다. 

(2) 손실 함수

손실 함수는 모델이 예측을 잘못했을 때 얼마나 차이가 나는지를 측정하는 방법입니다. Depth Pro는 기본적인 오차(MAE;Mean Absolute Error)뿐만 아니라, 경계선을 더욱 선명하게 만드는 데 필요한 추가적인 계산 방법 (Gradient & Laplace 손실)을 사용합니다.

 

(3) 초점 거리 추정
Depth Pro는 이미지의 EXIF 데이터 없이도 이미지 속에서 카메라의 초점 거리 정보를 직접 계산할 수 있습니다. 이렇게 하면 카메라 정보를 몰라도 이미지의 실제 크기와 거리 비율을 정확히 알 수 있습니다.

 

2.4 제약사항

Depth Pro는 투명한 유리나 빛이 산란하는 표면에서는 깊이를 정확히 추정하기 어려운 한계가 있습니다. 이는 단일 픽셀의 깊이 정의가 애매하거나 비정규적일 때 발생합니다.

---

3. 결론

Depth Pro는 제로샷, 즉 새로운 환경에서도 별도의 추가 학습 없이 바로 사용할 수 있는 깊이 추정 모델입니다. 이 모델은 빠르고 정확한 결과를 제공하며, 경계선까지 선명하게 추정할 수 있는 기술적 강점을 가지고 있습니다. 이러한 기술은 가상현실, 자율 주행, 3D 콘텐츠 제작 등 다양한 분야에서 큰 도움을 줄 것입니다.

 

---

4. 참고자료

• 논문) Depth Pro: Sharp Monocular Metric Depth in Less Than a Second (링크)
• 코드) DepthPro 코드 (깃헙)

---

5. Q&A

Q. Depth Pro는 어떤 데이터를 사용하나요?

Depth Pro는 실제 사진과 합성 이미지를 모두 사용해 학습됩니다. 이를 통해 다양한 환경에서 잘 작동할 수 있습니다.

 

Q. Depth Pro는 모든 표면에서 작동하나요?

Depth Pro는 일반적인 표면에서는 잘 작동하지만, 투명하거나 빛이 산란하는 표면에서는 한계가 있을 수 있습니다.

 

Q. 초점 거리 정보가 없는 이미지는 어떻게 처리하나요?

Depth Pro는 초점 거리 추정 모듈을 사용해 이미지 내에서 직접 초점 거리를 계산할 수 있습니다.