ComA : 3D 객체의 포괄적인 인간-객체 상호작용을 학습하는 방법

3D 객체의 포괄적인 인간-객체 상호작용 능력을 학습하는 새로운 방법

 

ComA (Comprehensive Affordance)는 사전 학습된 2D 확산 모델을 활용해 3D 객체의 포괄적인 인간-객체 상호작용 능력을 학습하는 새로운 방법입니다. 

 

기존의 인간-객체 상호작용(HOI) 연구는 주로 물리적 접촉에만 집중하여 비접촉 패턴이나 공간적 관계를 충분히 다루지 못했습니다.

 

이를 해결하기 위해 사전 학습된 2D 확산 모델을 사용하여 다양한 3D HOI 샘플을 생성하고, 이를 기반으로 물체 표면과 인간 표면 사이의 상대적인 위치와 방향을 모델링하는 파이프라인으로 ComA를 제안하고 있습니다.

 

이 기법에서 사용되는 특징적 기술로는 다음과 같은 것들이 있습니다. 

• Comprehensive Affordance(ComA)
  3D 객체와 인간 사이의 접촉 및 비접촉(공간적 관계, 방향성) 패턴을 모두 포함하는 포괄적인 상호작용 표현 
• Adaptive Mask Inpainting
  인간을 삽입하는 동안 객체의 원래 모습을 손상시키지 않기 위해 새롭게 제안된 적응형 마스크 인페인팅 방법
• 3D 샘플 생성
  사전 학습된 2D 확산 모델을 사용하여 다양한 3D HOI 샘플을 생성하고 이를 3D로 변환하는 파이프라인

 

* affordance : 어떤 물체를 봤을 대 어떻게 사용할 수 있는지를 의미하며 사람이 물체와 어떻게 상호작용할지를 이해하는데 중요한 역할

* HOI (Human-Object Interaction) : 인간-객체 상호작용을 의미

 

 

ComA의 학습은 2D 확산 모델을 활용하는데 대략적으로 다음과 같은 방식으로 진행됩니다.

 

다양한 각도의 3D 물체 렌더링 → 2D 이미지 변환 → 이미지에 '사람이 물체와 상호작용하는 모습' 삽입 (이때 Adaptive Mask Inpainting 기법 적용) -> 3D 데이터로 변환 -> 3D 데이터 분석 및 ComA 모델 학습

 

사진 : 처리 방식 개요

 

참고) 프로젝트, 논문, 코드, 데이터셋