목록기하학적 인식 듀얼 브랜치 (1)

AI 탐구노트

MagicMan : 고품질의 인간 3D 재구성 모델

고품질의 일관된 다중 뷰 이미지를 생성하여 인간 3D를 재구성할 수 있게 만드는 모델 MagicMan은 단일 이미지로부터 고품질의 일관된 다중 뷰 이미지를 생성하여 인간 3D 재구성을 가능하게 하는 모델입니다. 기존의 단일 이미지 기반 인간 3D 재구성 방법들은 부족한 훈련 데이터로 인한 일반화 능력의 약화와 3D 일관성 부족으로 인해 제한된 성능을 보입니다. 특히, 포즈 추정의 부정확성으로 인해 왜곡된 3D 재구성 결과가 발생합니다. MagicMan은 사전 훈련된 2D 확산 모델(Stable Diffusion)과 3D 신체 모델(SMPL-X)을 결합하여 다중 뷰 일관성을 개선하고, 하이브리드 멀티뷰 어텐션 메커니즘과 기하학적 인식 듀얼 브랜치를 도입하여 다중 뷰 간의 정보 교환을 효율적으로 수행합니다...
AI 기술 2024. 8. 28. 09:59
이전 Prev 1 Next 다음