Tender

Tender는 텍스트 기반 2D 전신 인간 동작 생성을 위한 모델로 Holistic-Motion2D 데이터셋과 함께 공개되었습니다. 2D 동작데이터는 수집이나 데이터 처리가 3D 데이터에 비해 상대적으로 용이하기 때문에 더 확장 가능하고 다양한 형태로 제공될 수 있습니다. 2D 동작 데이터는 신체 부위의 키포인트들로 구성되는데 이것과 텍스트 설명을 결합해서 동작을 생성하면 2D 신체 부위 키포인트들의 동작 시퀀스가 생성됩니다.

 

Tender 프레임워크는 PA-VAE(부위 인식 변이 오토인코더)와 트랜스포머 기반 확산 모델, CAG(신뢰 인식 생성)을 갖춘 전신 부위 인식 주의 메커니즘으로 구성되어 있습니다. 사람의 행동이 기록된 비디오 클립이 있고, 신체의 키포인트 데이터와 행동에 대한 설명 텍스트 데이터가 있다고 할 때, PA-VAE는 신체 움직임을 작은 부분(팔 움직임, 다리 움직임 등)으로 나누고 모델이 처리할 수 있는 형태로 인코딩합니다. 트랜스포머 기반 확산 모델은 인코딩된 부분을 사용하여 텍스트 설명을 조건으로 동작 시퀀스를 생성하고 CAG는 신체 부위 간의 공간적 관계를 모델링해서 신체의 모든 부분의 현실적이고 일관된 움직임을 보장하는 역할을 수행합니다.

 

 

참고) 프로젝트, 논문

 

 

사진 : Holistic Motion2D 데이터셋과 생성된 2D 전신 동작 움직임 예시

 

사진 : Tender 프레임워크