목록노이즈 볼륨과 어텐션맵 (1)

AI 탐구노트

Slicedit

Slicedit은 기존의 T2I(Text to Image) 확산 모델을 이용해 비디오의 특정 부분을 텍스트 설명에 맞게 자연스럽게 편집하는 새로운 방법입니다. 아시는 바와 같이 최근 나오는 많은 T2I 모델들의 성능은 놀라울 정도입니다. 하지만, 이미지가 아닌 비디오 영상에서는 일부에서 많은 발전이 있긴 했지만 아직도 복잡한 움직임 처리 등에서 어려움이 있습니다. Slicedit은 자연 비디오의 시공간 슬라이스가 자연 이미지와 유사한 특성을 지닌다는 점에 착안해, 기존 T2I 확산 모델을 시공간 슬라이스에 적용하는 식으로 접근합니다. 이를 통해 비디오의 구조와 움직임을 유지하면서도 입력되는 텍스트에 맞게 비디오를 편집할 수 있게 됩니다. Slicedit은 비디오의 특정 시점에서 노이즈 볼륨과 어텐션맵을 ..
AI 기술 2024. 8. 14. 21:31
이전 Prev 1 Next 다음