M3 : Matryoshka Multimodal Models

멀티모달 모델을 이용한 이미지 이해를 수행할 때, 이미지가 고해상도이거나 동영상의 길이가 긴 경우 많은 시각적 토큰 정보가 필요하므로 비효율적이게 됩니다. 이를 해결하기 위해 시각적 정보를 여러 단계의 세밀도로 나타낼 수 있도록 하는 모델이 소개되었는데 그것인 Matryoshka Multimodal Models (M3)입니다. 

 

이 모델의 특징은 이미지를 필요에 따라 여러 단계의 시각적 토큰으로 나타내어, 정보가 점점 더 세밀해지는 구조를 만든다는 것으로 단계를 진행될수록 고수준 정보에서 세부 정보를 포함하게 된다는 것과, 이미지의 복잡도에 따른 적정한 크기의 토큰을 사용함으로써 최적의 성능과 자원 사용의 효율성을 극대화할 수 있다는 것입니다.

 

참고) 프로젝트, 논문, 코드, 데모

 

 

사진 : Matryoshka Multimodal Models의 아키텍처