Procigen : 인간-사물 상호작용 합성 데이터셋

상호작용하는 사물과 인간 이미지가 있는 합성 인간-사물 상호작용 데이터셋

 

3D 인간-물체 상호작용을 재구성하는 것은 어려운 일입니다. 세상에 존재하는 다양한 물체들이 다 3D 상호작용 데이터셋 내에 존재하는 것은 아니고 상호작용 또한 모든 것을 다 포함하기는 힘들기 때문에 물체, 사람, 상호작용에 대한 일반화가 되어야 하기 때문입니다. 아무래도 많은 실제 데이터가 있다면 좋겠지만 그걸 캡처하고 데이터로 만드는 작업은 많은 비용이 들기 마련이죠.

 

ProciGen (Procedural Interaction Generation)은 21,000개의 다양한 사물과 상호작용하는 인간 이미지가 있는 합성 인간-사물 상호작용 데이터 세트입니다.

 

 

가능한 사람과 물체 간의 상호작용과 다양한 물체 변형을 갖는 데이터셋을 절차적으로 생성하고, 이 데이터를 사용해 현실적인 상호작용과 인간 및 물체 모양을 학습하는 이미지 조건부 확산 모델인  HDM(Hierachical Diffusion Model)을 훈련시킵니다.

 

핵심적인 아이디어는 3개의 네트워크를 통해 인간, 물체를 개별 모양 공간으로 학습하고 Cross Attention을 통해 상호 작용을 학습하는 것입니다. 이 방식을 이용하면 정의된 템플릿 없이 다양한 카메라 시점과 조명 조건, 폐색 중인 상태라도 인간과 물체를 재구성할 수 있다는 장점을 얻을 수 있다고 합니다.

 

사진: Procigen 모델 개요

 

 

사진 : HBM의 생성 방법

 

 

 

 

참고) 프로젝트, 논문, 데이터셋, 코드, 데모