AI 탐구노트

1. 서론동영상 기술의 발전은 단순히 장면을 기록하는 단계를 넘어, 복잡한 시각적 데이터를 분석하고 재구성하는 새로운 차원으로 발전해왔습니다. 그 중에서도 동영상 레이어 분해 기술은 다양한 창의적 활용 가능성을 제시하며 주목받고 있습니다. 예를 들어, 동영상 내 특정 객체를 제거하거나, 그 효과(그림자, 반사 등)를 포함한 객체를 별도의 레이어로 분리하여 영상 제작자들에게 놀라운 자유도를 제공합니다. 그러나 기존 기술은 정적인 배경이나 카메라의 움직임과 같은 제한적인 환경에서만 효과적으로 작동하는 한계를 가지고 있었습니다. Generative Omnimatte는 이러한 한계를 극복하기 위해 고안된 기술로, 기존의 정적인 가정을 탈피하여 동적인 배경에서도 동작하며, 가려진 영역을 자연스럽게 복원하는 능력을..

생성AI를 이용한 영상 편집에서의 시간적인 일관성 문제를 해결하는 기술 생성AI 모델을 이용해서 주어진 prompt나 입력 이미지에서 영상을 만들어내는 모델들이 속속 소개되고 있습니다. 이미지 생성에서 이제는 비디오 영상 생성으로 발전하고 있죠. 하지만 대부분 생성되는 비디오 영상은 각 프레임 별로 이전과 이후 간의 일관성이 보존되지 않는 경우가 많고 결과적으로 중간중간 튀어 버리거나 전혀 시간이 지나면서 점점 이전과는 전혀 다른 영상으로 바뀌게 되죠. TokenFlow는 이렇게 생성AI를 이용한 영상 편집에서의 시간적인 일관성 문제를 해결하는 기술입니다. 즉, 입력 영상을 기반으로 주어진 텍스트 프롬프트를 적용해서 비디오 영상이 만들어질 때, 그 전의 다른 모델들 대비해서 훨씬 자연스런 영상을 얻을 수..