Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- TRANSFORMER
- 아두이노
- 서보모터
- 시간적 일관성
- 오블완
- OpenAI
- 일론 머스크
- 오픈AI
- ControlNet
- 멀티모달
- 휴머노이드 로봇
- 우분투
- 딥러닝
- 메타
- 트랜스포머
- LLM
- AI
- 딥마인드
- AI 기술
- ChatGPT
- 인공지능
- 가상환경
- ubuntu
- PYTHON
- 티스토리챌린지
- 뉴럴링크
- 생성형 AI
- 확산 모델
- tts
- LORA
Archives
- Today
- Total
AI 탐구노트
DWPose : 전신 자세 예측 모델 본문
2단계 증류 기법이 적용된 전신 자세 예측 모델
DWPose는 2단계 증류(distillation)을 사용하여 효과적인 전신 자세 예측을 하는 모델입니다.
일반적인 자세 예측은 신체의 일부 영역을 대상으로 하는 경우가 많습니다. 이유로는 인체의 계층구조, 신체 부위에 따라 서로 달리 적용되는 다른 스케일과 낮은 해상도, 그리고 장애물이나 어려운 자세(예:손), 머리 포즈 등에 대한 충분치 않은 데이터 등이 언급됩니다.
DWPose는 KD(Knowledge Distillation, 지식증류) 기술을 사용해서 이 문제를 해결하고 있습니다. 첫번째는 교사(teachre) 모델의 중간 레이어와 최종 Logit을 활용하여 학생(student) 모델을 학습하고, 두번째로는 머리의 정확한 위치 파악을 위해 자체 KD(지식증류)를 포함하는 방식을 사용했습니다. 기본적으로는 MMPose와 ControlNet을 기반으로 하고 있습니다.
참고) 위 코렙코드 링크에 나온 데모영상은 한국의 댄서 카리나의 영상을 이용하고 있길래 한국 연구자인가 했는데 중국 연구자분들이시네요. ^^;
'AI 기술' 카테고리의 다른 글
Simpleaichat : LLM 연동 Python 라이브러리 (0) | 2024.08.23 |
---|---|
MetaGPT : 멀티 에이전트 프레임워크 (0) | 2024.08.23 |
AudioCraft : 음악 생성 도구 (0) | 2024.08.23 |
MagicTime : 타임랩스 영상을 생성하는 모델 (0) | 2024.08.22 |
Phi-3 : 성능 좋은 경량 언어모델 (0) | 2024.08.22 |