목록Video-to-Audio (1)

AI 탐구노트

PAVAS : 물리 법칙을 반영하는 비디오 음향 생성 AI 모델

최근 나오는 생성형 AI는 이미지를 만들고, 영상을 편집하고, 음악까지 만들어 냅니다. 그런데 영상에 맞는 소리를 만드는 일은 생각보다 어렵습니다. 공이 바닥에 튀는 장면을 보면 우리는 자연스럽게 ‘통통’ 하는 짧은 소리를 기대합니다. 망치가 금속을 치면 더 날카롭고 강한 소리가 나야 합니다. 사람은 이런 차이를 쉽게 느끼지만, AI는 장면의 겉모습만 보고 비슷한 소리를 붙이는 데 그치는 경우가 많습니다. 산업적으로도 이 문제는 중요합니다. 영상 작업 후 녹음, 게임 효과음, AR/VR 콘텐츠, 로봇 시뮬레이션에서는 영상과 소리가 시간 싱크만 맞아서는 부족합니다. 물체가 무거운지, 빠르게 움직였는지, 충돌이 강했는지에 따라 소리의 크기와 울림도 달라져야 합니다. PAVAS는 영상 속 물체의 질량과 속도를..
AI 기술 2026. 5. 29. 15:41
이전 Prev 1 Next 다음