SA-DVAE

SA-DVAE는 분리 변이 오토인코더(Disentangled Variational Autoencoders)를 활용하여 스켈레톤 기반 제로샷 액션 인식을 개선하는 모델입니다. 

 

기존 제로샷 스켈레톤 기반 액션 인식 방법은 스켈레톤 특징과 텍스트 임베딩을 동일한 잠재 공간으로 정렬합니다. 그러나, 스켈레톤 데이터는 다양한 시퀀스를 포함하고 있지만 텍스트 임베딩은 고정된 클래스 레이블로 이뤄져 있어, 두 모달리티 사이에 불균형이 발생할 수 있다는 문제가 있습니다. 

 

SA-DVAE는 스켈레톤 특징을 의미 관련 부분과 무관한 부분으로 분리하여 의미 있는 스켈레톤 특징과 텍스트 특징을 보다 잘 정렬하는 방법을 사용하여 데이터 불균형 문제를 해결하고 일반화 능력을 향상시킵니다. 두 개의 모달리티 특화 변이 오토인코더와 분리된 잠재 특징 간의 독립성을 강화하기 위해 총 상관 벌칙(Adversarial Total Correlation Penalty) 을 사용합니다.

 

총 상관(Total Correlation)은 주어진 데이터의 여러 변수들 사이의 상호 의존성을 측정하는 척도이며,  대립적 총 상관 벌칙(Adversarial Total Correlation Penalty)은 모델의 학습 과정에서 잠재 공간에서의 특징들이 서로 독립적으로 학습되도록 유도하는 방법을  말합니다. 이를 통해 스켈레톤 특징의 의미 있는 부분과 무의미한 부분을 효과적으로 분리하고, 이를 통해 모델의 성능을 향상시킬 수 있습니다. 

 

참고) 논문, 코드

 

그림 : SA-DVAE 아키텍처