LongAnimation : 긴 애니메이션의 색상을 일정하게 유지하는 새로운 방법

 

애니메이션은 시각적으로 매우 매력적이며, 많은 사람들이 즐기는 콘텐츠 중 하나입니다. 이러한 애니메이션을 만들기 위해서는 먼저 윤곽선으로 된 그림(스케치)을 그리고, 여기에 색을 입히는 과정이 필요합니다. 특히, 수백 장 이상의 프레임이 필요한 긴 애니메이션에서는 이 작업이 매우 시간과 인력이 많이 드는 작업입니다. 예를 들어, 한 캐릭터가 초반에는 파란 모자를 쓰고 있다가 후반부에서는 빨간 모자를 쓰고 있다면, 이는 색상이 일관되지 않다는 의미입니다. 이러한 문제는 보는 사람에게 어색함을 줄 수 있습니다.

 

최근에는 인공지능 기술이 발전하면서 이 과정을 자동화하려는 시도가 늘어나고 있습니다. 특히, 색상을 일정하게 유지하면서 애니메이션을 자동으로 생성하는 기술이 주목받고 있습니다. 하지만 대부분의 기존 연구는 짧은 애니메이션(100프레임 이하)에만 초점을 맞추고 있으며, 긴 애니메이션에서는 여전히 색상의 일관성을 유지하는 것이 어렵습니다.

 

이러한 문제를 해결하기 위해 'LongAnimation'이라는 새로운 인공지능 모델이 제안되었습니다. 이 모델은 긴 애니메이션에서도 색상의 일관성을 유지할 수 있도록 설계되었으며, '글로벌'과 '로컬' 정보를 함께 활용하는 새로운 접근법을 도입했습니다.

 

---

LongAnimation

1) 기존 방식의 문제점

 

과거에는 인공지능이 짧은 구간(예: 14프레임)만을 처리하도록 설계되어 있었습니다. 이 경우 인접한 프레임끼리 색을 맞추는 데는 효과적이었지만, 전체 애니메이션을 놓고 보면 시간이 지날수록 색이 조금씩 바뀌는 현상이 발생했습니다. 특히 프레임 수가 많아질수록 누적된 오류가 쌓이면서 캐릭터의 옷이나 배경 색이 변질되는 문제가 생겼습니다.

 

2) 접근 방식

 

이 문제를 해결하기 위해 LongAnimation에서는 '동적 글로벌-로컬 기억(Dynamic Global-Local Memory, DGLM)'이라는 방식을 사용되었습니다. 이 방식은 이전에 생성된 전체 애니메이션 데이터를 요약하여 '글로벌 기억'으로 저장하고, 바로 이전 구간의 데이터를 '로컬 기억'으로 활용합니다. 그리고 현재 생성 중인 프레임에서 이 두 가지 정보를 적절히 결합하여 색상의 일관성을 유지합니다.

 

이 방식의 핵심은, 단순히 앞뒤 프레임만 보는 것이 아니라 전체적인 흐름을 고려하여 색상 정보를 조정하는 것입니다. 이로 인해 영상 전반에 걸쳐 색상의 일관성이 크게 향상됩니다.

 

그림 : 기존 방식과 LongAnimation 방식 비교

 

 

3) 아키텍처

 

아래 그림은 LongAnimation의 아키텍처를 보여주고 있습니다. 학습과정에서는 스케치, 참고 이미지, 텍스트 설명을 인코딩하여 이 정보를 기억하는 구조(DGLM)에 넣어 줍니다. 첫 구간에서는 이전 프레임이 없으므로 SketchDiT에서 생성한 특징만으로 프레임을 생성하고 그 다음부터는 앞서 생성된 프레임들의 요약정보(DGLM)을 블러와 현재 구간의 특징과 합쳐 생성하게 됩니다. 

그림 : LongAnimation의 전체 구조도

 

 

 

4) 세부 적용 기술

 

1️⃣ SketchDiT

애니메이션 제작 시 중요한 참고 자료인 스케치, 텍스트 설명, 그리고 참고 이미지(예: 캐릭터 설정 그림)를 함께 분석하여 유용한 정보를 추출합니다. 이 기능은 인공지능이 현재 상황을 더 잘 이해할 수 있도록 도와줍니다.

 

2️⃣ Dynamic Global-Local Memory (DGLM)

과거의 전체 애니메이션 데이터를 압축해서 요약된 정보를 기억합니다(글로벌 메모리). 그리고 직전 몇 개의 프레임 정보를 따로 저장하여 로컬 메모리로 사용합니다. 이렇게 이중 구조로 데이터를 기억하고, 현재 프레임을 만들 때 이 정보를 참고하여 색상 변화를 줄입니다.

 

3️⃣ Color Consistency Reward (CCR)

 

모델이 색상 일관성을 유지하도록 도와주는 추가 보상 기능입니다. 생성된 프레임의 색상이 기준 애니메이션과 비슷할수록 높은 점수를 주어, 자연스럽게 색상을 유지하도록 학습됩니다. 

 

 

4️⃣ Color Consistency Fusion (CCF)

 

실제 영상 생성 시 프레임 간 자연스러운 전환을 돕는 기술입니다. 두 프레임이 겹치는 부분을 조정하여 색상 차이를 최소화합니다. 특히 디테일이 살아나는 마지막 단계에서만 이 작업을 수행함으로써, 전체 품질을 유지하면서도 부드러운 전환이 가능해집니다.

 

그림 : Color Consistency Fusion 개념도

 

 

5) 제약사항

 

이 기술은 고사양의 GPU와 충분한 학습 데이터를 필요로 하며, 실시간 애니메이션 생성보다는 사전 학습과정이 필수적입니다. 또한, 학습 데이터의 품질이 결과에 큰 영향을 미치기 때문에, 실제 상용화를 위해서는 데이터 정제가 중요합니다.

---

 

LongAnimation은 애니메이션 색상 일관성 유지라는 오랜 과제를 해결하기 위해 글로벌-로컬 기억을 결합한 혁신적인 접근법을 제시했습니다. 이를 통해 기존보다 5배 이상 긴 영상도 안정적으로 색상을 유지하며 생성할 수 있게 되었고, 실제 애니메이션 산업에서 인력과 시간 절약에 큰 도움을 줄 수 있는 기술입니다.

 

만약 제약사항에서 언급한 데이터 품질 관리와 하드웨어 부담이 줄어든다면, 이 기술은 향후 웹툰 애니메이션 자동화나 게임 영상 제작 등 다양한 분야로 확대될 수 있는 가능성을 보여줍니다.

 

참고자료

• 사이트) LongAnimation 프로젝트 사이트 (링크)
• 논문) LongAnimation: Long Animation Generation with Dynamic Global-Local Memory (링크)
• 코드) LongAnimation Github 저장소 (링크)

---

Q&A

 

Q. 이 기술은 어떤 상황에서 가장 효과적인가요?

긴 애니메이션(300프레임 이상)에서 캐릭터나 배경의 색상이 일관되게 유지되어야 하는 상황에서 매우 효과적입니다.

 

Q. SketchDiT는 기존 모델과 어떤 차이가 있나요?

기존 모델은 이미지 한 장만 참고했지만, SketchDiT는 스케치, 텍스트 설명, 이미지 세 가지를 함께 분석하여 더 정확한 색상 예측이 가능합니다.

 

Q. 실시간 영상 제작도 가능한가요?

현재로서는 실시간보다는 사전 학습을 거쳐야 하기 때문에 실시간 제작에는 한계가 있으며, 향후 기술 발전이 필요합니다.