DWPose : 전신 자세 예측 모델

2단계 증류 기법이 적용된 전신 자세 예측 모델 

 

DWPose는 2단계 증류(distillation)을 사용하여 효과적인 전신 자세 예측을 하는 모델입니다.

 

일반적인 자세 예측은 신체의 일부 영역을 대상으로 하는 경우가 많습니다. 이유로는 인체의 계층구조, 신체 부위에 따라 서로 달리 적용되는 다른 스케일과 낮은 해상도, 그리고 장애물이나 어려운 자세(예:손), 머리 포즈 등에 대한 충분치 않은 데이터 등이 언급됩니다.

 

DWPose는 KD(Knowledge Distillation, 지식증류) 기술을 사용해서 이 문제를 해결하고 있습니다. 첫번째는 교사(teachre) 모델의 중간 레이어와 최종 Logit을 활용하여 학생(student) 모델을 학습하고, 두번째로는 머리의 정확한 위치 파악을 위해 자체 KD(지식증류)를 포함하는 방식을 사용했습니다. 기본적으로는 MMPose와 ControlNet을 기반으로 하고 있습니다.

 

 

사진) DWPose 모델의 아키텍처

 

 

참고) 논문, 깃헙, 코렙코드

 

참고) 위 코렙코드 링크에 나온 데모영상은 한국의 댄서 카리나의 영상을 이용하고 있길래 한국 연구자인가 했는데 중국 연구자분들이시네요. ^^;