모션 제너레이션의 새로운 지평: Motion Anything

 

최근 몇 년 사이, 영화 제작, 게임, 증강현실(AR), 가상현실(VR), 휴머노이드 로봇 등 다양한 분야에서 사람의 움직임을 디지털로 재현하고 생성하는 기술이 주목받고 있습니다. 특히 인공지능의 발전과 함께 사람의 동작을 텍스트나 음악과 같은 다양한 조건으로부터 생성하는 기술이 현실로 다가오고 있습니다. 이러한 배경 속에서 'Motion Anything'이라는 모델은 한 발 더 나아가, 조건 기반 모션 생성의 새로운 패러다임을 제시하고 있습니다.

 

지금까지 대부분의 모션 생성 기술은 텍스트나 음악과 같은 한 가지 조건에만 기반해 동작을 만들어왔습니다. 하지만 현실 세계의 움직임은 단순한 단일 조건만으로 설명되기 어렵습니다. 예를 들어, 어떤 사람이 "왼손을 들며 음악 박자에 맞춰 걷는다"라는 행동을 한다면, 이는 '텍스트'와 '음악'이라는 두 가지 정보를 모두 고려해야 자연스러운 동작이 나옵니다.

 

이런 복합 조건 하에서도 정교하고 제어 가능한 모션 생성을 가능하게 하기 위해, 주목(attention) 기반 마스킹 기법을 도입하고, 다양한 조건들을 동시에 처리할 수 있는 새로운 아키텍처로 Motion Anything이 제안되었습니다. 

 

그림 : Motion Anything을 통해 생성된 motion 영상 중 캡처

 

Motion Anything

1) 기존 방식의 문제점

• 우선순위 없는 마스킹 방식 : 기존의 마스킹 기반 생성 모델들은 무작위로 프레임이나 관절을 가리거나 복원하는 방식을 취했기 때문에, 중요한 동작 정보가 무시되거나 제대로 학습되지 않는 문제가 있었습니다.
• 멀티모달 조건 통합 부족 : 텍스트-to-모션, 음악-to-댄스 등 각각의 조건은 따로 잘 처리되었지만, 이를 함께 통합해 하나의 모션을 제어하는 것은 거의 이루어지지 않았습니다. 이로 인해 실제 상황처럼 복합적인 조건 하에서는 제어가 어렵고 자연스럽지 않은 결과가 발생했습니다.

 

2) 접근 방식

Motion Anything은 두 가지 핵심 접근 방식을 통해 위 문제를 해결합니다.

• 첫째, attention 기반 마스킹 기법을 도입하여 텍스트나 음악에서 중요한 프레임이나 관절을 선택적으로 마스킹함으로써 더 중요한 동작을 우선적으로 학습합니다.
• 둘째, 멀티모달 조건을 통합하는 아키텍처를 설계하여 텍스트와 음악 등 다양한 조건을 동시에 입력받고 이를 공간적(어떤 관절이 움직이는가) 및 시간적(언제 움직이는가)으로 정렬하여 자연스럽고 제어 가능한 모션을 생성합니다.

그림 : Motion Anything의 전반적인 역할

 

---

3) 아키텍처

 

아래 그림은 Motion Anything의 전체 구조를 보여주고 있습니다. 4개의 부분으로 구성되어 있는데 각각은 다음과 같습니다. 

• Attention 기반 Temporal Masking : 언제 움직일지 선택 (어떤 시간 프레임이 중요한지 선택)
• Multimodal Motion 생성 아키텍처  : 텍스트, 음악을 분석해 중요 정보 추출하고 이를 토대로 모션 생성 
• Attention 기반 Spatial Masking : 어느 관절이 중요할지 선택
• Motion Generator 블록 : 시간, 공간 정보를 맞춰 실제 움직임 생성

그림 : Motion Anything의 전체 아키텍처

 

3) 세부 적용 기술

1️⃣ Attention-based Masking (주의 기반 마스킹)

• 텍스트나 음악을 보고 어떤 부분(프레임이나 관절)이 중요한지 판단해서 그 부분만 골라서 집중적으로 학습하는 역할을 합니다. 
• 기존의 무작위 마스킹과 달리, 입력된 조건(텍스트, 음악 등)을 기반으로 가장 중요한 프레임과 관절을 주의(attention) 스코어로 선택하며, 이렇게 선택된 부분만을 마스킹하여 복원함으로써, 모델은 더 중요한 동작을 우선적으로 학습하게 됩니다.

그림 : Masking에서의 기존 방식과의 차이 (랜덤 vs 중요부분)

2️⃣ Temporal Adaptive Transformer (시간 정렬 변환기)

• 텍스트나 음악의 조건에 따라 언제 어떤 동작이 나와야할 지 정해주는 역할을 합니다. 즉, 음악의 박자에 맞춰 팔을 흔들어야 한다면 그 시점에 맞는 프레임을 생성하게 됩니다. 
• 텍스트 조건일 경우 자가 주의(Self-Attention)를, 음악 또는 멀티모달일 경우 교차 주의(Cross-Attention)를 사용하여 동작 생성의 시간적 일관성을 높입니다.

3️⃣ Spatial Aligning Transformer (공간 정렬 변환기)

• 몸의 어떤 부분이 어떻게 움직여야 할지를 결정하는 기술입니다.
• 특정 단어가 특정 신체 부위를 지시할 수 있기 때문에, 프레임 내 각 관절의 움직임을 텍스트 또는 음악 조건과 일치시키는 정렬 과정을 수행합니다. 예를 들어 '왼손을 들다'라는 문장이 있으면, 왼손 관절의 움직임에 집중하여 학습합니다.

4️⃣ Text-Music-Dance(TMD) 데이터셋

• 논문에서는 텍스트와 음악이 함께 주어진 새로운 모션 데이터셋 TMD를 공개하였으며, 이는 기존 AIST++보다 두 배 큰 규모(2,153 샘플)입니다. 이를 통해 복합 조건 기반의 모션 생성 학습 및 평가가 가능해졌습니다.

---

4) 제약사항

• 멀티모달 입력을 처리할 수 있도록 설계되었지만, 실제 응용에서 텍스트와 음악 간의 의미 불일치(예: 텍스트는 우아한 동작, 음악은 빠른 템포일 경우) 상황에서 어떤 우선순위를 적용할지에 대한 논의는 상대적으로 부족합니다.
• 모델의 복잡성과 연산량도 비교적 높은 편으로, 실시간 애플리케이션 적용에는 추가 최적화가 필요합니다.

---

 

Motion Anything은 단일 조건에 의존하던 기존 모션 생성 기술을 넘어서, 텍스트와 음악 등 다양한 조건을 동시에 반영해 보다 자연스럽고 제어 가능한 모션을 생성할 수 있는 프레임워크입니다. Attention 기반 마스킹 기법은 중요한 동작에 집중하는 학습을 가능하게 했고, Temporal 및 Spatial Transformer는 시간적-공간적 일관성을 강화했습니다.

 

실생활에서는 AI 댄서, 가상 캐릭터, 게임 캐릭터 애니메이션 생성 등 다양한 응용이 가능하며, 특히 광고, 영화, 메타버스 환경에서 큰 효과를 기대할 수 있습니다. 만약 현재 제약사항이 해결된다면, 실시간 상호작용 기반 콘텐츠 제작에 혁신적인 변화를 가져올 수 있을 것입니다.

---

참고자료

• 사이트) Motion Anything 프로젝트 (링크)
• 논문) Motion Anything: Any to Motion Generation (Zeyu Zhang et al., 2025) (링크)

---

Q&A

Q. Motion Anything은 어떤 점에서 기존 모델과 가장 큰 차별점을 가지나요?

Motion Anything은 텍스트와 음악을 동시에 조건으로 사용하며, attention 기반 마스킹을 통해 중요한 프레임과 관절을 중심으로 학습합니다.

 

Q. 실제 사용 사례는 어떤 것이 있나요?

가상 캐릭터 애니메이션, 댄스 생성, 광고 콘텐츠 제작, 실시간 게임 캐릭터 생성 등에서 활용 가능합니다.

 

Q. TMD 데이터셋은 어떤 목적에서 만들어졌나요?

텍스트-음악-모션이 함께 묶인 데이터셋이 기존에 존재하지 않았기 때문에, 멀티모달 모션 생성 연구를 위한 표준 벤치마크를 마련하고자 제작되었습니다.