ToonCrafter

ToonCrafter는 이미지 to 비디오 생성을 수행하는 확산 기반 모델입니다.  시작 프레임의 이미지와 끝 프레임의 이미지를 입력으로 받아 그 사이 동작을 확산모델을 이용해 보간 이미지들을 생성해서 채우는 방식으로 수행됩니다. 고전적인 방식의 애니메이션들은 애니메이터(만화가?)들이 영상의 매 프레임을 이미지로 그리고 채색해서 이를 연속적으로 보여주는 방식을 취했었는데 ToonCrafter는 이런 반복적이고 손이 많이 가는 작업을 대체할 수 있는 단비같은 기술인 셈입니다.

 

만화 스케치에서의 프레임 보간 이미지 생성, 참조 스케치를 이용한 이미지 자동 채색 등의 기능도 함께 제공합니다. 공개된 생성 결과물들 가운데는 지브리 애니메이션을 가지고 만든 것이 많았는데 원본과 비슷하다고 느껴질 정도로 품질이 상당해서 앞으로 애니메이션 제작의 많은 부분이 사람 대신 AI를 이용해서 처리할 수 있게 될 것 같다는 생각이 들었습니다. 그렇게 되면 만화 콘티를 잘 짜는 개인이 한편의 장편 애니메이션도 만들 수 있지 않을까 싶네요...

 

참고) 프로젝트, 논문, 코드, 영상, 데모

 

 

사진: ToonCrafter 모델 개요