MagicTime : 타임랩스 영상을 생성하는 모델

시간이 지남에 따라 변화하는 비디오 (타임랩스 영상)를 생성하는 모델

 

MagicTime은 시간이 지남에 따라 변화하는 비디오 (타임랩스 영상)를 생성하는 모델입니다. 

 

별의 움직임이나 밀물과 썰물 현상, 꽃의 개화나 나비의 우화 과정 등을 담기 위해 카메라 혹은 카메라 보조장치에서 제공하는 타임랩스 기능을 이용하는 경우가 많이 있는데 그런 영상을 만들어 주는 모델이라고 보면 됩니다. 

 

기존의 영상 생성 모델들이 물리적인 지식이 반영되지 못해 움직임이 제한되고 다양성이 부족했던 것에 반해 MagicTime은 그런 부분들을 해결하고 있습니다. 제대로 된 영상 하나를 생성하기 위해 많은 시간과 노력, 시행착오가 필요했던 분야였는데...  물론 실제 느낌이 어느 정도까지 나올지는 모르겠지만 그런 작업들을 대체할 수 있는 기술이 나왔다는 것이 놀랍습니다.

 

이를 위해 MagicTime에서는 아래와 같은 기술요소를 도입했다고 합니다.

• MagicAdapter Plan : 공간적, 시간적 훈련을 분리하고, 영상에서 더 많은 물리적 지식을 인코딩하고 사전 훈련된 텍스트를 이용하여 메타모픽 영상을 생성하도록 텍스트-비디오 모델을 변환
• 동적 프레임 추출 (Dynamic Frame Extraction) 전략 : 보다 폭넓은 변화 범위와 급격한 물체의 변형 과정을 다뤄 일반 비디오보다 더 많은 물리적 지식을 포함하게 함
• Magic Text-Encoder : 메타모픽 비디오 프롬프트에 대한 이해를 향상시킴
• ChronoMagic : 특별히 큐레이팅된 타임랩스 비디오-텍스트 데이터셋

 

사진: MagicTime 모델의 접근방식 개요

 

 

사진 : 생성된 영상 예시

 

 

참고) 프로젝트, 코드, 데모