VideoMamba : 영상 속의 상황을 이해하는 모델

효율적인 비디오 이해를 위한 상태 공간 모델(SSM: State Space Model)

 

VideoMamba는 효율적인 비디오 이해를 위한 상태 공간 모델(SSM: State Space Model)입니다. 비디오 영상을 보면서 어떤 상황인지를 파악하고 싶은 경우에 사용할 수 있는 기술로 보시면 될 것 같습니다. 이 모델은 이름 그대로 Mamba 기술을 비디오 영역에 적용한 것인데 Mamba 자체에 대해서는 이곳을 참고하세요.

 

VideoMamba는 아래의 네 가지 핵심 기능을 제공합니다.

• 새로운 자체 증류 기술 : 광범위한 데이터 세트 교육 없이 시각적 영역의 확장 (입력 크기의 증가 가능)
• 단기 동작 인식에 대한 민감도 : 미세한 움직임, 세밀한 차이가 있는 단기 동작을 구별하는 능력 탁월
• 장기 비디오 영상 이해의 우수성 : 긴 영상의 해석 능력이 뛰어남
• 다른 양식과의 호환성 - 다중모드 상황에서의 견고성 입증

 

제공되는 데모에서는 이미지와 비디오에 대한 분류 예시를 볼 수 있습니다. 이를 이용하면 CCTV 등에 찍힌 것 가운데 일정한 타임 윈도우로 잘라낸 영상을 뽑아내서 이를 입력으로 한 후 현재 상황에서 폭력행위가 발생하고 있는 것인지를 분류하도록 하는 방식으로도 활용할 수 있을 것 같습니다. 

 

 

사진 : VideoMamba의 Framework

 

 

 

참고) 논문, 코드, 데모