AKD, 텍스트로부터 실제같은 3D 캐릭터 동작을 만들다

 

요즘 인공지능은 그림이나 영상도 척척 만들어냅니다. 심지어 '사자가 걷는 모습'이라고 글만 써도 사자가 걷는 영상을 뚝딱 만들어내는 시대가 되었죠. 그런데 이렇게 멋져 보이는 기술에도 허점이 있습니다. 예를 들어, 사자의 다리가 갑자기 사라진다든가, 땅을 뚫고 들어간다든가, 아니면 걷는 다리가 이상하게 꼬여서 보인다던지 실제라면 절대 일어나지 않을 이상한 일이 생깁니다. 왜 그럴까요?

 

기존 기술은 '그림처럼 보이는 장면'을 잘 만들어낼 수 있지만, '진짜 살아있는 듯한 움직임'을 만드는 건 아직 어려운 일이었어요. 그래서 UCLA와 NVIDIA 연구팀은 이 문제를 해결하기 위해 'AKD'라는 새로운 AI 기술을 만들었습니다.

 

AKD는 '영상 속 동작을 배워서 3D 캐릭터에 적용하는 기술'입니다. 예를 들어, 영상에서 '사자가 걷는 모습'을 보고, 그걸 3D 캐릭터가 실제로 따라하게 만드는 거죠. 이 기술은 실제 애니메이션 제작이나 게임, 심지어 로봇에도 쓰일 수 있을 만큼 정교합니다.

 

 

---

AKD (Articulated Kinematics Distillation)

1) 기존 방식의 문제점

기존의 AI는 캐릭터의 몸 전체를 자유롭게 늘이고 줄이며 움직였습니다. 처음엔 이게 더 유연해 보였지만, 너무 자유롭다 보니 손이나 발이 이상한 방향으로 구부러지거나, 몸이 부자연스럽게 움직이는 문제가 있었죠. 게다가 사람이 일일이 이런 걸 고치려면 시간이 많이 들어서 애니메이션을 대량으로 만들기가 어려웠습니다.

 

2) 접근 방식

AKD는 이 문제를 해결하기 위해 '관절만 조절하는' 접근을 하고 있습니다. 사람의 경우에도 몸이  팔꿈치, 무릎처럼 관절을 중심으로 움직이잖아요? 그래서 3D 캐릭터도 마찬가지로 뼈대를 만들고 관절을 조정하는 식으로 단순화한 것입니다. 

 

AI는 텍스트(예: '호랑이가 걷는다')를 보고, 영상 생성 모델이 학습한 동작을 바탕으로 어떤 식으로 움직여야 하는지를 관절 중심으로 정리해서 캐릭터에 알려줍니다. 이렇게 하면 복잡한 몸 전체를 조정할 필요 없이 중요한 부분만 딱딱 조정할 수 있게 됩니다. 

 

3) 세부 적용 기술

 

1️⃣ 뼈대 기반 애니메이션 (Skeleton-based Animation)
캐릭터를 움직일 때 몸 전체가 아니라 관절(팔, 다리 등)만 조절해서 자연스러운 동작을 만듭니다.

 

2️⃣ 3D 가우시안 표현법 (3D Gaussian Splatting)
캐릭터를 아주 작은 점(가우시안)으로 나누어 표현합니다. 이 점들은 부드럽게 변형되기 때문에 자연스럽고 깨지지 않게 동작을 만들 수 있죠.

 

3️⃣ 영상에서 배우는 학습 (Score Distillation Sampling)
영상 생성 AI가 “이런 식으로 걸어야 자연스럽지!”라고 알려주면, 그걸 이용해서 캐릭터가 비슷하게 걷도록 학습합니다.

 

4️⃣ 물리 법칙까지 고려한 동작 만들기 (Physics-based Tracking)
그냥 움직이는 게 아니라, 땅에 발이 잘 닿고 미끄러지지 않게 실제 중력 같은 물리 법칙도 반영합니다.

 

5️⃣ 발이 땅을 뚫고 들어가는 문제 방지 (Ground Penalty)
발이 땅 속으로 들어가지 않게 하고, 프레임마다 튀는 움직임 없이 자연스럽게 이어지도록 만듭니다.

 

그림 : AKD의 전체 시스템 구조

 

위의 그림은 AKD의 전체 처리 흐름을 설명한 것으로 다음과 같은 과정을 통해 진행되는 것을 보여줍니다. 

• 프롬프트 글을 입력받습니다. 
• AI가 캐릭터를 만들고 뼈대를 넣습니다. 
• 관절 움직임을 계산하고 동영상을 렌더링한 뒤
• AI가 피드백을 줘서 더 자연스럽게 조정합니다!

4) 제약사항

 

아직 캐릭터 외형(피부나 색깔 등)이 좀 부족해 보일 수 있으며, 다양한 움직임을 만들기 위해서는 영상 생성 AI가 지금보다 좀 더 똑똑해져야 할 것 같습니다. 그리고, 뼈대를 사람 손으로 넣어줘야 해서 완전 자동화는 아닙니다.

---

AKD는 사람처럼 자연스럽게 움직이는 3D 캐릭터를 자동으로 만드는 새로운 방식입니다. 이제는 직접 애니메이션을 만들지 않아도, 글 한 줄만 입력하면 AI가 알아서 움직임을 만들어주는 시대가 오고 있습니다. 앞으로 이 기술이 더 발전하면 게임 캐릭터, 가상 유튜버, 로봇에 이르기까지 다양한 분야에서 활용될 수 있을 겁니다. 그리고 자동으로 뼈대도 넣고, 더 정교한 움직임을 만들 수 있는 기술이 나오면, 영화나 드라마의 애니메이션도 AI가 상당 부분 담당하게 될지도 모르겠습니다. 

 

---

참고자료

• 사이트) AKD 프로젝트 사이트 (링크)
• 논문) Articulated Kinematics Distillation from Video Diffusion Models (링크)

---

Q&A

Q. AKD는 기존 기술과 무엇이 다른가요?

관절 중심으로만 움직임을 조정하기 때문에, 기존보다 훨씬 더 자연스럽고 안정적인 모션을 만들 수 있습니다.

 

Q. 캐릭터가 땅을 뚫고 들어가는 문제는 해결되었나요?

네! 땅과 캐릭터의 접점을 고려해서 그런 문제가 생기지 않도록 AI가 조정해줍니다.

 

Q. 정말 글만 써도 캐릭터가 움직이나요?

맞아요. "사자가 걷는다", "사람이 달린다" 이런 문장만 써도, AI가 그에 맞는 동작을 만들어줄 수 있습니다.