목록Scaled-RoPE (1)

AI 탐구노트

OVI : 트윈 백본과 블록 단위 융합으로 구현한 통합 오디오-비디오 생성

영상을 볼 때 우리는 자연스럽게 입 모양과 목소리가 맞아야 편안함을 느낍니다. 배경 음악은 장면의 리듬을 따라야 하고, 행동에는 정확한 효과음이 붙어야 하죠. 하지만 유튜브 혹은 다른 OTT에서도 편집이 잘못되어 립 싱크가 제대로 되지 않아 어색한 영상을 가끔 보기도 합니다. 최근에는 AI를 이용해 영상을 생성하는 경우가 많은데, 대부분의 생성 모델은 영상·오디오를 따로 만들고 나중에 맞추는 식으로 진행합니다. 그러다 보니 입모양이 어긋나거나, 음악이 장면과 따로 노는 일이 잦았습니다.OVI는 이런 문제를 해결하기 위한 방안으로 제시되었습니다. 핵심 아이디어는 간단합니다. '처음부터 오디오와 비디오를 하나의 생성 과정으로 묶는다.'는 것이죠. 이를 위해 오디오용과 비디오용 쌍둥이(트윈) Diffusion..
AI 기술 2025. 11. 13. 14:21
이전 Prev 1 Next 다음