AI 탐구노트

최근 이미지에서 비디오를 생성하는 기술이 빠르게 발전하면서, 사용자가 원하는 대로 카메라 움직임을 조정할 수 있는 기능이 중요한 연구 주제가 되었습니다. 일반적으로 텍스트 기반의 비디오 생성 방식은 사용이 간편하지만, 카메라의 움직임을 정밀하게 제어하기 어렵다는 한계가 있습니다. 이러한 문제를 해결하기 위해 카메라 궤적(trajectory)을 기반으로 한 영상 생성 기법이 등장했지만, 실제 환경에서 적용하기 어려운 경우가 많았습니다. 카메라 궤적 기반의 기존 기술은 상대적인 스케일(relative scale)에서 작동하여 현실적인 3D 깊이(depth) 정보를 반영하기 어려웠습니다. 이로 인해 사용자는 특정 장면에서 정확한 카메라 움직임을 설계하는 데 어려움을 겪었습니다. 예를 들어, 깊이 정보가 없는 ..

단일 이미지와 입력 조건을 물리적으로 일관된 영상을 생성하는 모델  PhysGen은 단일 이미지와 입력 조건을 사용해 물리적으로 일관된 영상을 생성하는 모델입니다.  기존의 데이터 기반 비디오 생성 방식은 실제 물리적 원칙을 반영하지 않아, 생성된 비디오가 현실적이지 않고 물리적 일관성이 부족했으며 세밀한 제어가 어려웠습니다. 예를 들어 OpenAI에서 쇼킹할 수준의 영상 생성을 하는 SORA를 공개했을 때에도, 갑자기 수가 불어나는 새끼 늑대들의 영상이나 발굴현장에서 날아다니는 플라스틱 의자 등과 같은 예시 샘플 영상 을 보면서 아... 아직 물리법칙에 어긋나거나 일관성이 떨어지는 부분들은 여전히 있구나 하는 생각을 했었더랬습니다.  PhysGen은 물리 기반 시뮬레이션과 데이터 기반 비디오 생성 기술..