LHM : 단일 이미지로 애니메이션 가능한 3D 인간 아바타를 생성하는 모델

 

현대 사회에서 메타버스와 같은 가상 공간은 점점 더 중요한 산업으로 자리잡고 있습니다. 특히 증강현실(AR), 가상현실(VR), 게임, 영화 산업에서는 현실과 유사한 인간 아바타를 빠르게 생성하고 이를 애니메이션화하는 기술이 핵심입니다. 과거에는 이와 같은 작업을 위해 다각도의 촬영, 정밀한 센서, 오랜 후처리 시간이 필요했지만, 최근 AI 기술의 급속한 발전은 단 한 장의 이미지로 3D 아바타를 생성하려는 시도를 가능하게 만들고 있습니다.

 

하지만 단일 이미지로 3D 아바타를 생성하는 것은 여전히 큰 도전입니다. 사람의 형태, 옷의 주름, 얼굴의 정밀한 표정까지 재현하려면 높은 수준의 공간적 추론과 표현력이 필요하기 때문입니다.

 

LHM(Large Animatable Human Reconstruction Model)은 이러한 한계를 극복하며, 단일 이미지를 입력으로 단 몇 초 만에 사실적인 3D 아바타를 생성하고, 애니메이션화까지 가능하게 합니다. 이는 대규모 변환기(transformer) 기반 모델과 다중 모달 피처 융합 기술을 활용한 결과입니다.

 

그림 : LHM을 이용해 생성한 3D 아바타와 이를 이용한 애니메이션 예시

---

LHM(Large Animatable Human Reconstruction Model)

1) 기존 방식의 문제점

기존의 3D 인간 아바타 생성 기술은 크게 두 가지 방식으로 나뉩니다. 하나는 파라메트릭 모델 기반 방식이고, 다른 하나는 비디오 최적화 방식입니다. 파라메트릭 방식은 빠르지만 얼굴 세부 묘사나 옷 주름 표현이 부족했고, 최적화 기반 방식은 높은 정밀도를 제공하지만 시간이 오래 걸리고 복잡한 사전 설정이 필요했습니다. 이로 인해 '단일 이미지 → 실시간 애니메이션 가능한 아바타 생성'이라는 이상적인 기술 목표는 오랫동안 미완의 과제로 남아 있었습니다.

2) 접근 방식

이러한 한계를 극복하기 위해 LHM이라는 대규모 트랜스포머 기반 모델이 제안되었습니다. 이 모델은 단일 이미지를 입력받아 바로 3D 가우시안 스플래팅(Gaussian Splatting) 기반의 아바타를 생성합니다. 이는 3D 형상, 텍스처 정보, 애니메이션 제어 가능성을 동시에 만족시키는 접근입니다.

 

특히, LHM은 멀티모달 트랜스포머 아키텍처를 사용해 3D 포인트 정보와 이미지 피처를 효과적으로 융합하고, 머리 부위의 정밀도 향상을 위한 별도 피처 피라미드 구조도 갖추고 있습니다. 이를 통해 얼굴 인식의 정밀도도 함께 향상됩니다.

 

그림 : LHM의 전체 아키텍처

3) 세부 적용 기술

1️⃣ 3D Gaussian Splatting

LHM이 사용하는 3D 표현 방식은 '3D Gaussian Splatting'입니다. 이는 아바타를 수많은 3차원 가우시안 분포로 구성하여, 빠르고 사실적인 렌더링이 가능하게 합니다. 각 가우시안은 위치, 회전, 스케일, 색상, 투명도 등의 파라미터로 구성되며, 이것이 모여 전체 사람 형상을 구성합니다.

 

가우시안(Gaussian) : 통계학에서는 정규분포를 얘기할 때 가우시안 분포라고 부릅니다. 
그래픽 처리에 있어서는 '포인트 클라우드' 즉 점 구름을 가우시안으로 이해하시면 될 것 같습니다. 즉, 어떤 공간에 점을 하나 찍는 대신 그 점 부위로 점 근처는 선명하고 멀어지면 흐려지도록 정규분포처럼 부드럽게 퍼지는 영역을 만들어 표현하는거죠. 
이렇게 하는 이유는 부드럽고 자연스러운 물체 표현을 하는데도 정밀 모델링이 불필요하고 복잡한 수학계산도 최소화시킬 수 있기 때문입니다. 

 

2️⃣ Multimodal Body-Head Transformer (MBHT)

 

이 트랜스포머는 3D 포인트(기하 정보)와 이미지 피처(색상, 질감 등)를 융합하는 역할을 합니다. 특히, 몸통과 머리 부위를 구분해서 처리하며, 시각적으로 중요한 얼굴 정보를 정밀하게 학습할 수 있도록 설계되었습니다.

• 입력: SMPL-X 모델에서 추출한 3D 포인트, 이미지 피처
• 출력: 각 포인트에 대한 가우시안 파라미터 예측

그림 : MBHT-block의 구조 설명. 기하학적 정보와 시각 정보를 융합하는 역할 수행

 

3️⃣ Head Feature Pyramid Encoding (HFPE)

얼굴은 이미지 상에서 차지하는 면적이 작아 정보가 손실되기 쉽습니다. HFPE는 DINOv2 기반의 멀티스케일 피처를 결합하여, 얼굴의 고주파 정보를 효과적으로 보존합니다. 이렇게 하면 눈, 입술, 턱선 같은 미세 요소까지 복원이 가능해집니다.

 

고주파, 저주파는 원래는 파동을 다루는 학문에서 나오는 용어입니다.  주파수 스펙트럼에서 상대적으로 높은 주파수를 고주파라고 하고 반대를 저주파라고 합니다. 이때 '주파수'는 '변화의 빠르기'를 의미하는데 이미지 영역에서는 약간 다른 해석을 해야 합니다. 
저주파 (Low-Frequency) : 이미지에서 '천천히 변하는 정보'로 큰 윤곽이나 부드러운 부분을 의미합니다.  예를 들어 얼굴의 전체 형태나 밝고 어두운 정도, 배경의 넓은 영역 등이 해당됩니다. 
고주파 (High-Frequency) : 이미지에서 '빠르게 변하는 정보'로, 세밀한 디테일이나 작고 날카로운 특징을 의미합니다. 예를 들어 눈썹의 결이나 머리카락, 주름, 피부의 미세한 질감 등이 해당됩니다. 

 

4️⃣ Self-supervised 학습 방식

 

LHM은 실제 3D 스캔 데이터 없이도 학습이 가능합니다. 영상 데이터를 활용해 다양한 시점에서의 이미지를 제공하고, 이를 기반으로 자기지도학습(self-supervised learning) 방식으로 모델을 학습시킵니다.

5️⃣ 정규화 손실 (Canonical Regularization)

실제 사람이 아닌 이미지에서 재구성되는 3D 아바타는 불안정할 수 있습니다. 이를 막기 위해, '구형 형태 유지 손실(L_ASAP)', '위치 고정 손실(L_ACAP)' 등을 통해 3D 포인트들이 적절한 형태와 위치를 유지하도록 합니다.

4) 제약사항

• 실제 학습에 사용된 데이터는 일부 뷰포인트에 편향이 있어, 극단적인 자세나 보기 드문 각도에서는 정확도가 낮아질 수 있습니다.
• 고해상도 표현이나 더 복잡한 의복 구조의 사람에 대해 추가적인 정교화가 필요할 수 있습니다.

---

LHM은 단일 이미지를 기반으로 수 초 안에 정밀한 애니메이션 가능한 3D 인간 아바타를 생성하는 기술입니다. 기존 방법들의 느림과 정밀도 부족 문제를 동시에 해결하며, 얼굴 정밀도, 옷 주름 표현, 실시간 렌더링까지 모두 지원합니다.

 

향후 훈련 데이터셋을 다양화하거나 뷰포인트 편향 문제를 보완한다면, 다양한 포즈에 대한 일반화 성능까지 확보할 수 있을 것입니다. 이는 메타버스, 가상 캐릭터, 게임 제작 등 실생활 분야에 즉시 적용 가능한 큰 실용성을 가집니다.

---

참고자료

• 논문) LHM: Large Animatable Human Reconstruction Model for Single Image to 3D in Seconds (링크)

---

Q&A

Q. 기존 모델들과 비교해 LHM이 가지는 가장 큰 장점은 무엇인가요?

단일 이미지로 애니메이션 가능한 3D 아바타를 빠르게 생성하며, 얼굴 디테일까지 정밀하게 복원한다는 점에서 뛰어납니다.

 

Q. 학습에 실제 3D 스캔 데이터가 필요한가요?

아닙니다. LHM은 비디오 기반 데이터와 자기지도학습 방식으로 학습되어 실제 스캔 없이도 높은 정밀도를 달성합니다.

 

Q. 실시간 애니메이션도 가능한가요?

예. LHM은 3D Gaussian Splatting 기반으로 실시간 렌더링과 포즈 제어가 가능합니다.