TaoAvatar: AR 환경에서 실시간으로 말하는 3D 아바타 만들기

 

요즘 가상 인간(디지털 휴먼) 기술이 주목받고 있습니다. 예를 들어, 온라인 쇼핑에서 실제 사람처럼 제품을 소개하는 가상 모델이나, 가상 회의에서 사람처럼 움직이며 말하는 아바타가 점점 많아지고 있죠. 이런 아바타를 만들기 위해서는 사실적인 얼굴 표정, 자연스러운 몸짓, 그리고 다양한 의상을 표현할 수 있어야 합니다. 그런데 이런 기능을 다 넣으면서도 스마트폰이나 AR 안경처럼 성능이 낮은 기기에서 실시간으로 동작하게 만드는 건 쉽지 않은 일이죠.

 

그러다보니 기존의 기술은 얼굴만 표현하거나, 컴퓨터에서만 작동하는 복잡한 방식이 많았습니다. 이런 문제를 해결하기 ㅜ이해 'TaoAvatar'라는 새로운 방법이 소개되었습니다. 이 방법은 전체 몸을 사실적으로 표현하고, 다양한 표정과 제스처까지 보여줄 수 있으면서도 스마트폰이나 AR 기기에서 실시간으로 작동합니다.

---

 

TaoAvatar

1) 기존 방식의 문제점

예전 방식들은 대부분 다음과 같은 문제가 있었습니다. 

• 얼굴만 잘 보이고 몸 표현은 부족하거나,
• 복잡한 컴퓨터에서만 돌아가고 스마트폰에서는 동작하지 않았거나
• 옷이나 머리카락처럼 움직임이 복잡한 부분은 표현하기 어렵거나
• 표정과 제스처가 따로 노는 경우도 많았습니다. 

2) 접근 방식

TaoAvatar는 이런 문제들을 해결하기 위해 다음과 같은 방식으로 접근했습니다. 

• 개인 맞춤형 몸 모델 만들기 (SMPLX++ 사용)
  사람 몸뿐만 아니라 옷, 머리카락 등도 포함된 템플릿을 먼저 만듭니다.
• 두 개의 뇌(네트워크)를 사용한 학습 방식 (Teacher-Student 구조)
  먼저 복잡한 표현을 잘하는 ‘교사 모델’로 학습하고, 이를 ‘학생 모델’로 가볍게 만들어 실시간으로 사용할 수 있도록 했습니다. 
• 디테일한 움직임 보정 (Blend Shape 보정)
  머리 움직임, 손 제스처, 표정 등 세밀한 부분까지 자연스럽게 표현할 수 있도록 별도 조정 기능을 넣었습니다. 

그림 :

 

3) 아키텍처 설명

그림 : TaoAvatar의 전체 파이프라인

 

위 그림은 TaoAvatar의 전체 파이프라인을 보여 주고 있습니다. '템플릿 모델 생성 → 교사 네트워크 학습 → 학생 네트워크 학습 (Baking) → Blend Shape 보정 → 최종 렌더링'의 과정을 설명하고 있습니다. 

 

4) 핵심 기술 설명

1️⃣ SMPLX++ 파라메트릭 템플릿

일단 사람의 전신을 나타내는 기본 몸틀(SMPLX)에 옷과 머리카락을 덧붙여 ‘내 캐릭터’를 만드는데 이것을 "SMPLX++"이라고 부릅니다. 이를 가지고 T-포즈 기준으로 정렬합니다. (이 템플릿은 아바타의 기초 프레임워크가 됩니다.)

2️⃣ 말랑말랑한 움직임 표현하기

사람의 옷이 펄럭이거나 머리카락이 흔들릴 때처럼, 단순히 뼈대만 움직여서는 표현하기 어려운 부분을 '비강체변형(non-rigid deformation)' 또는 ‘말랑한 변형’이라고 부릅니다. 이것은 먼저 복잡한 AI 모델(StyleUnet 기반의 교사 모델)이 학습한 다음, 그 결과를 작고 빠른 AI (distillation 기반 학생 모델)에게 넘겨주는 방식으로 처리합니다. 

3️⃣ Gaussian Splatting을 이용한 하이브리드 표현

3D Gaussian 점들을 메쉬의 삼각형 면에 텍스처처럼 바인딩하여, 메쉬와 함께 동기적으로 움직이는 구조를 채택했습니다. 이를 통해 복잡한 옷의 표면 질감이나 투명한 재질 표현도 효과적으로 처리할 수 있습니다. 쉽게 말하면, 화면에 점들을 뿌려서 사람처럼 보이게 만드는 기술이에요. 이 점들이 옷, 피부, 머리카락처럼 보이도록 잘 배치하고, 빛을 받았을 때 자연스럽게 보이게 하는 거죠.

4️⃣ 빠르고 가볍게 만들기

복잡한 교사 모델이 표현한 옷의 펄럭임, 표정 변화를 간단한 숫자로 요약해서 학생 모델에게 알려줍니다. 덕분에 스마트폰이나 AR 안경에서도 빠르게 작동할 수 있습니다. 

5️⃣ 표정과 몸짓 제어하기

얼굴 표정이나 손 제스처 같은 건 'Blend Shape'이라는 기술로 따로 제어할 수 있습니다. 마치 얼굴 근육을 따로 조정하듯이 세밀하게 움직일 수 있게 해주는 기능이죠.

 

4) 제약사항

아직은 과하게 큰 옷이나 복잡한 동작의 표현에는 제한이 있습니다. 예를 들어 치마가 크게 퍼지는 장면에서는 자연스럽지 않을 수 있다는 것이죠. 하지만 앞으로 더 발전된 AI(GNN 기반 시뮬레티어)를 넣으면 이 부분도 개선될 것으로 기대됩니다. 

---

TaoAvatar는 사실적인 3D 아바타를 만들면서도, 스마트폰이나 AR 안경처럼 성능이 낮은 기기에서도 잘 작동하게 만드는 기술입니다. 덕분에 라이브 방송, 가상 회의, 온라인 쇼핑 모델 등 다양한 분야에서 유용하게 사용할 수 있을 것으로 전망됩니다. 특히 Apple Vision Pro 같은 최신 기기에서는 2K 해상도로도 부드럽게 작동할 정도로 성능이 좋다고 하죠. 앞으로 옷의 움직임 표현만 더 발전하면, 거의 현실과 비슷한 아바타를 누구나 쉽게 만들 수 있는 시대가 올 것 같습니다. 조만간 새로운 응용 사례를 기대해 봐도 되지 않을까 싶습니다. 

---

참고자료

• 사이트) TaoAvatar 프로젝트 사이트 (링크)
• 논문) TaoAvatar: Real-Time Lifelike Full-Body Talking Avatars for Augmented Reality via 3D Gaussian Splatting (링크)
• 코드) TaoAvatar github repo (링크)

---

Q&A

Q. TaoAvatar는 스마트폰에서도 돌아가나요?

네, 복잡한 기능을 간단한 구조로 바꿔주는 ‘경량화’ 기술 덕분에 스마트폰이나 AR 기기에서도 잘 작동해요.

 

Q. 기존 아바타와 뭐가 다른가요?

TaoAvatar는 전체 몸을 자연스럽게 표현하면서도, 옷이나 머리카락까지도 생생하게 표현할 수 있고, 실시간으로 작동해요.

 

Q. 어디에 쓸 수 있나요?

가상 유튜버, 가상 회의, 온라인 쇼핑 모델, AR 비서 등 다양한 분야에 사용할 수 있어요.