AI 탐구노트

Alibaba 그룹의 Tongyi Lab에서 Wan 2.1이라는 텍스트와 이미지 등의 입력을 기반으로 비디오를 생성할 수 있는 고급 영상 생성 모델을 오픈소스로 공개했습니다. 이번 글에서는 이 모델에 대해 간략하게 알아보도록 하겠습니다. Wan 2.1Wan2.1은 다양한 영상 생성 작업을 지원하는 오픈소스 비디오 생성 모델들의 모음입니다.Text-to-Video, Image-to-Video, Video 편집, Text-to-Image, Video-to-Audio 등 여러 작업을 하나의 모델 패밀리로 수행할 수 있습니다.중국어, 영어 텍스트를 영상 속에 직접 생성해낼 수 있어 실용성이 높습니다.Wan-VAE라는 뛰어난 영상 전용 VAE(Variational Autoencoder)를 사용하여, 1080P 해..

메타(Meta)에서 동영상 생성/편집 기능을 가진 'Movie Gen'을 공개했습니다. 텍스트 프롬프트 입력을 통해 고해상도 동영상을 자동으로 생성하는 기능을 제공합니다.  제공되는 핵심 기능을 열거해 보면 다음과 같습니다. 너무 단촐하게 말했나요? -_-;비디오 생성 (16 FPS, 1080P, 최대 16초)개인화된 비디오 생성정밀한 비디오 편집오디오 생성  (48KHz)AI가 영상을 생성하면, 그걸 원하는 스타일로 바꾸거나 새롭게 뭔가를 추가할 수도 있고영상에 어울리는 배경 음악과 효과음까지 포함시켜 최종 영상을 만들 수 있다는 얘기입니다.    공식 사이트에 소개된 영상들 각각도 멋지지만, 그 가운데 위 영상은 음향효과와 잘 어울려 더 놀라웠습니다.꼭 한번 클릭해서 보시길... 그런데 이것도 혹시 ..

텍스트를 이용한 이미지 생성 모델에서 깊이 지도, 스케치, 사람의 자세 등의 조건을 추가하기 위해 ControNet(*1)을 사용하는 경우가 많습니다. 이미지의 경우는 대부분 잘 작동하지만 비디오에 적용하기 위해서는 각 프레임 별로 이 작업이 이뤄져야 하고 프레임 간에는 일관성을 보장하기 어렵다는 문제가 있었죠.  CTRL-Adapter는 ControlNet을 효율적으로 재사용하여 이미지 또는 비디오 확산모델에 다양한 공간 제어 조건을 추가할 수도 있도록 만든 프레임워크입니다. 이를 통해 이미지와 비디오 생성 시 더 세밀한 제어가 가능해지고 연산을 위한 자원도 절약할 수 있습니다. 이 프레임워크는 미리 훈련된 ControlNet의 특성을 새로운 확산 모델에 맞게 조정하는 어댑터 모듈을 훈련시키는데, 이는..