목록제로샷 학습 (1)

AI 탐구노트

SA-DVAE

SA-DVAE는 분리 변이 오토인코더(Disentangled Variational Autoencoders)를 활용하여 스켈레톤 기반 제로샷 액션 인식을 개선하는 모델입니다.  기존 제로샷 스켈레톤 기반 액션 인식 방법은 스켈레톤 특징과 텍스트 임베딩을 동일한 잠재 공간으로 정렬합니다. 그러나, 스켈레톤 데이터는 다양한 시퀀스를 포함하고 있지만 텍스트 임베딩은 고정된 클래스 레이블로 이뤄져 있어, 두 모달리티 사이에 불균형이 발생할 수 있다는 문제가 있습니다.  SA-DVAE는 스켈레톤 특징을 의미 관련 부분과 무관한 부분으로 분리하여 의미 있는 스켈레톤 특징과 텍스트 특징을 보다 잘 정렬하는 방법을 사용하여 데이터 불균형 문제를 해결하고 일반화 능력을 향상시킵니다. 두 개의 모달리티 특화 변이 오토인코더..
AI 기술 2024. 8. 5. 16:13
이전 Prev 1 Next 다음