AI 탐구노트

1. 서론동영상 기술의 발전은 단순히 장면을 기록하는 단계를 넘어, 복잡한 시각적 데이터를 분석하고 재구성하는 새로운 차원으로 발전해왔습니다. 그 중에서도 동영상 레이어 분해 기술은 다양한 창의적 활용 가능성을 제시하며 주목받고 있습니다. 예를 들어, 동영상 내 특정 객체를 제거하거나, 그 효과(그림자, 반사 등)를 포함한 객체를 별도의 레이어로 분리하여 영상 제작자들에게 놀라운 자유도를 제공합니다. 그러나 기존 기술은 정적인 배경이나 카메라의 움직임과 같은 제한적인 환경에서만 효과적으로 작동하는 한계를 가지고 있었습니다. Generative Omnimatte는 이러한 한계를 극복하기 위해 고안된 기술로, 기존의 정적인 가정을 탈피하여 동적인 배경에서도 동작하며, 가려진 영역을 자연스럽게 복원하는 능력을..

1. 서론컴퓨터 비전 및 그래픽스의 발전은 현실감 있는 3D 및 4D 콘텐츠 생성에 핵심적인 역할을 합니다. 하지만 대규모 3D 및 4D 비디오 데이터셋의 부족은 단일 이미지로부터 고품질의 3D/4D 장면을 생성하는 데 주요한 한계를 초래합니다. 이 문제를 해결하기 위해 비디오 확산 모델이 등장하여 공간적, 시간적 요소를 활용한 생성 능력을 보여주고 있습니다. 최근 연구들은 비디오 확산 모델을 활용하여 정적 또는 동적 메쉬 렌더링에서 객체 수준의 콘텐츠를 생성하거나, 장면 수준에서의 점진적인 최적화를 시도하고 있습니다. 하지만 이들 방식은 공간적 및 시간적 요소를 개별적으로 제어하지 못해, 일관된 3D 및 4D 장면을 생성하는 데 한계를 가집니다. DimensionX는 이러한 문제를 해결하고자 단일 이미..

단일 이미지와 입력 조건을 물리적으로 일관된 영상을 생성하는 모델  PhysGen은 단일 이미지와 입력 조건을 사용해 물리적으로 일관된 영상을 생성하는 모델입니다.  기존의 데이터 기반 비디오 생성 방식은 실제 물리적 원칙을 반영하지 않아, 생성된 비디오가 현실적이지 않고 물리적 일관성이 부족했으며 세밀한 제어가 어려웠습니다. 예를 들어 OpenAI에서 쇼킹할 수준의 영상 생성을 하는 SORA를 공개했을 때에도, 갑자기 수가 불어나는 새끼 늑대들의 영상이나 발굴현장에서 날아다니는 플라스틱 의자 등과 같은 예시 샘플 영상 을 보면서 아... 아직 물리법칙에 어긋나거나 일관성이 떨어지는 부분들은 여전히 있구나 하는 생각을 했었더랬습니다.  PhysGen은 물리 기반 시뮬레이션과 데이터 기반 비디오 생성 기술..