RealCam-I2V: 실세계 이미지-비디오 생성 기술과 상호작용적 카메라 제어

 

최근 이미지에서 비디오를 생성하는 기술이 빠르게 발전하면서, 사용자가 원하는 대로 카메라 움직임을 조정할 수 있는 기능이 중요한 연구 주제가 되었습니다. 일반적으로 텍스트 기반의 비디오 생성 방식은 사용이 간편하지만, 카메라의 움직임을 정밀하게 제어하기 어렵다는 한계가 있습니다. 이러한 문제를 해결하기 위해 카메라 궤적(trajectory)을 기반으로 한 영상 생성 기법이 등장했지만, 실제 환경에서 적용하기 어려운 경우가 많았습니다.

 

카메라 궤적 기반의 기존 기술은 상대적인 스케일(relative scale)에서 작동하여 현실적인 3D 깊이(depth) 정보를 반영하기 어려웠습니다. 이로 인해 사용자는 특정 장면에서 정확한 카메라 움직임을 설계하는 데 어려움을 겪었습니다. 예를 들어, 깊이 정보가 없는 단일 이미지를 이용하여 비디오를 생성할 경우, 카메라 움직임이 부자연스럽거나 일관성이 부족한 문제가 발생할 수 있습니다.

 

RealCam-I2V라는 새로운 영상 생성 프레임워크은 이런 배경 하에서 개발되었습니다. RealCam-I2V는 단안(monocular) 깊이 추정을 활용하여 3D 장면을 재구성하고, 이를 기반으로 절대적인 카메라 제어(absolute-scale camera control)를 가능하게 합니다. 이를 통해 사용자는 실제 세계의 깊이와 크기에 맞는 카메라 움직임을 직접 설계할 수 있으며, 보다 자연스럽고 정밀한 영상 생성을 수행할 수 있습니다.

 

 

그림 : RealCam-I2V의 개요 및 제공 기능 소개

 

---

이미지-비디오 생성 기술의 제약 사항

기존의 이미지-비디오 생성 기술은 주로 텍스트 기반 제어 방식과 카메라 궤적 기반 방식으로 나뉩니다.

1. 텍스트 기반 제어 방식
   • 자연어를 이용해 카메라 움직임을 설명하는 방식
   • 직관적이지만 세밀한 카메라 조정이 어려움
   • 특정 각도, 줌인/줌아웃 등의 정밀한 조작이 불가능
2. 카메라 궤적 기반 방식
   • 카메라 이동 경로를 직접 입력하여 제어
   • 상대적 스케일로 인해 현실감 있는 깊이 표현이 어려움
   • 사용자가 직접 궤적을 정의해야 하므로 학습 곡선이 높음

위의 문제를 해결하기 위해 RealCam-I2V는 절대 스케일(absolute-scale) 카메라 제어를 도입하여 현실적인 카메라 이동을 구현합니다.

---

RealCam-I2V

RealCam-I2V는 이미지에서 비디오를 생성할 때 단안 깊이 추정(monocular depth estimation)을 활용하여 3D 장면을 재구성한 후, 이를 기반으로 카메라 움직임을 절대적인 스케일로 변환하는 과정을 거칩니다.

그림 : RealCam-I2V의 파이프라인 (학습 및 추론 과정)

 

위의 그림은 RealCam-I2V의 파이프라인을 다음과 같이 설명하고 있습니다.

• 학습 단계 : 기존 데이터셋 (RealEstate 10K)에서 카메라 움직임을 절대 좌표계로 변환하고 단안 깊이 추정 (Depth Anything v2) 모델로 이미지 깊이 정보를 추출한 뒤 이를 이용해 카메라 궤적을 정밀하게 조정할 수 있도록 학습 진행
• 추론 단계 : 사용자가 3D 장면 위에 직접 카메라 궤적을 그릴 수 있으며, 실시간 미리보기를 통해 결과를 확인 가능하며 이를 기반으로 최종 비디오가 생성됨 

 

RealCam-I2V의 접근 방식

1. 단안 깊이 추정(Depth Anything v2 모델 사용)
   • 단일 이미지를 입력받아 해당 장면의 깊이 정보를 예측
   • 깊이 맵(depth map)을 생성하여 3D 공간으로 변환
2. 3D 장면 재구성 및 절대 스케일 변환
   • 깊이 정보를 활용하여 3D 포인트 클라우드(point cloud) 생성
   • COLMAP을 활용해 기존 데이터셋(RealEstate10K)과 정렬
   • 상대적인 카메라 이동을 절대적인 이동 값으로 변환
3. 사용자 상호작용 인터페이스 제공
   • 사용자가 3D 장면 위에서 직접 카메라 궤적을 그릴 수 있도록 구현 (회전, 줌인 & 트랜지션, 클로즈업, 복잡 궤적 등)
   • 실시간 미리보기 기능을 통해 이동 경로를 조정 가능

그림 : RealCam-I2V를 활용한 다양한 카메라 움직임 예시

 

RealCam-I2V 세부 기술

단안 깊이 추정(Metric Depth Estimation)

• RealCam-I2V는 Depth Anything v2 모델을 활용하여 단일 이미지에서 깊이 정보를 추정합니다. 이를 통해 3D 장면을 재구성하고, 카메라의 이동을 절대적인 단위로 표현할 수 있습니다.

절대 스케일 정렬(Absolute-Scale Alignment)

• 기존 카메라 제어 모델(MotionCtrl, CameraCtrl, CamI2V 등)은 상대적인 좌표계를 사용
• RealCam-I2V는 깊이 맵을 이용하여 상대 좌표계를 절대 좌표계로 변환
• COLMAP 구조-재구성(SfM) 기법을 활용하여 3D 정렬 수행

씬 제약 노이즈 조정(Scene-Constrained Noise Shaping)

• 초기에 생성되는 노이즈를 3D 장면의 깊이 정보에 따라 제어
• 노이즈 분포를 조정하여 카메라 움직임의 일관성을 유지
• 높은 노이즈 단계에서 미리보기 프레임을 참조하여 부드러운 영상 생성

인터랙티브 카메라 컨트롤(Interactive Camera Control)

• 사용자가 직접 마우스로 카메라 궤적을 그릴 수 있는 기능 제공
• 미리보기 프레임을 통해 카메라 움직임을 조정 가능

---

RealCam-I2V의 제약사항

• RealEstate10K와 같은 특정 데이터셋에 최적화되어 있어 애니메이션, 회화 스타일 영상에서는 성능 저하 가능
• 깊이 추정 모델이 완벽하지 않기 때문에, 특정 장면에서 깊이 표현이 부정확할 가능성 있음
• 높은 성능을 요구하는 GPU 자원이 필요

---

 

RealCam-I2V는 기존 이미지-비디오 생성 방식의 한계를 극복하고, 절대 스케일을 기반으로 한 정밀한 카메라 제어 기술을 제공합니다. 이를 통해 사용자는 직관적으로 카메라 움직임을 설계할 수 있으며, 실세계 데이터를 활용한 자연스러운 비디오 생성을 수행할 수 있습니다. 

 

영상 제작자는 극적 요소를 극대화하기 위해 카메라 움직임을 가져갈 겁니다. 이를 통해 시선을 붙잡고 놔 주지 않는 현실감있는 비디오를 만들 수 있을테구요. 생성형 AI 기술이 발전할수록 이런 세부적인 요구사항이 이어질텐데 그 앞 선에 RealCam-I2V가 자리하고 있는게 아닌가 생각해 봅니다. 

 

향후 연구 방향으로는 더 다양한 스타일의 데이터셋 적용, 애니메이션 및 가상 환경에서의 활용 등이 고려될 수 있습니다.

---

참고자료

• 논문) RealCam-I2V: Real-World Image-to-Video Generation with Interactive Complex Camera Control (링크)
• 사이트) RealCam-I2V 프로젝트 (링크)

---

Q&A

Q. RealCam-I2V는 기존 방법보다 어떤 점이 개선되었나요?

기존 방법이 상대적인 카메라 스케일을 사용하여 실제 깊이 정보를 반영하기 어려웠다면, RealCam-I2V는 단안 깊이 추정을 활용해 절대적인 3D 공간을 재구성하여 보다 정밀한 카메라 이동을 구현합니다.

 

Q. 이 기술을 실제 응용하면 어떤 장점이 있나요?

광고, 영화 제작, 게임 개발 등에서 보다 정밀한 카메라 워크를 적용할 수 있으며, 사용자 친화적인 인터페이스를 통해 손쉽게 영상 제작이 가능합니다.

 

Q. 모델의 주요 한계점은 무엇인가요?

깊이 추정이 완벽하지 않으며, 특정 예술적 스타일(애니메이션, 만화)에서는 성능 저하가 발생할 수 있습니다. 또한 고성능 GPU가 필요합니다.