목록텍스트-영상 변환 (1)

AI 탐구노트

StreamingT2V : 일관되고 역동적인 긴 영상 생성 기법

일관되고 역동적인 긴 영상을 생성하는 기법 StreamingT2V는 텍스트로부터 일관되고 역동적인 장시간 영상을 생성하는 새로운 기법입니다.  기존 텍스트-영상 변환 모델은 주로 짧은 길이의 고품질 비디오(보통 16~24 프레임) 생성에 집중되어 있으며, 이를 단순하게 확장하여 긴 비디오를 생성하면 장면 전환의 불일치와 영상 품질 저하가 발생합니다.StreamingT2V는 자동회귀(autoregressive) 방식을 사용하여 텍스트 기반으로 긴 영상을 생성하며, 일관된 장면 전환과 높은 움직임의 역동성을 유지합니다. 이를 위해 다음과 같은 두 가지 주요 모듈을 도입했습니다:조건부 주의 모듈(Conditional Attention Module, CAM)이전 비디오 청크에서 추출한 특징을 기반으로 현재 프레..
AI 기술 2024. 9. 2. 20:13
이전 Prev 1 Next 다음