Qwen2-VL : 이미지와 영상, 다국어 지원을 잘 하는 비전 언어 모델

복잡한 이미지, 비디오와 다국어 텍스트 인식을 지원하는 비전 언어 모델

 

Qwen2-VL은 이미지와 비디오의 복잡한 이해 및 다국어 텍스트 인식이 가능한 최신 비전-언어 모델입니다.

 

기존 비전-언어 모델은 이미지 해상도에 대한 제한, 다국어 인식 부족, 긴 비디오 처리의 어려움, 실시간 상호작용 및 복잡한 작업 처리의 한계가 있었습니다. 

 

Qwen2-VL은 Naive Dynamic Resolution과 Multimodal Rotary Position Embedding (M-ROPE) 기술을 도입해 다양한 해상도의 이미지와 긴 비디오를 처리하며, 향상된 객체 인식과 다국어 지원, 실시간 에이전트 기능으로 문제를 해결할 수 있습니다. 다양한 해상도와 비율을 처리하며 모바일 및 로봇 제어까지 수행할 수 있습니다. 

 

* Multimodal Rotary Position Embedding (M-ROPE)는 텍스트, 이미지, 비디오처럼 서로 다른 데이터에서 위치 정보를 잘 처리할 수 있도록 설계된 기술

 

 

 

 

Qwen2-VL은 Vision Transformer(ViT) 기반으로 이미지와 비디오를 처리하며, Naive Dynamic Resolution으로 다양한 해상도의 이미지를 그대로 받아 들여 처리할 수 있습니다. 즉, 작은 그림부터 큰 이미지, 짧은 비디오에서 긴 비디오까지 모두 본래의 크기나 비율을 유지하면서 처리한다는 것이죠. 입력으로 사용된 이미지와 비디오가 각각 가로, 세로 비율도 다르고 길이도 다르므로 실제 그에 맞는 토큰의 크기도 다르게 부여됩니다. Vision Encoder는 이 모든 이미지를 원본 해상도로 받아들이고, 각각의 특징을 적절한 수의 토큰으로 변환하고 QwenLM Decoder는 이렇게 생성된 여러 토큰을 모아서 통합적으로 이해한 후, 질문에 대한 답변이나 이미지를 바탕으로 한 설명을 생성하는 역할을 하게 됩니다. 

 

이 모델의 특징은 다음과 같은 것들이 있습니다. 

• 최첨단 성능
  이미지, 비디오, 다국어 텍스트 이해에서 뛰어난 성능을 보이며, 특히 문서 이해 및 수학 문제 해결에서 우수합니다. 
  웹상의 다른 블로그에 올라온 예시를 보면 한국어 텍스트도 아주 잘 처리하는 것 같았습니다. 
• 비디오 처리
  20분 이상의 비디오를 이해하며, 비디오 기반의 질문 응답과 대화 기능을 제공합니다. 
• 에이전트 기능
  복잡한 추론 및 의사결정을 통해 모바일 및 로봇과 같은 기기를 자동으로 제어할 수 있도록 하는 에이전트 기능을 제공합니다. 
• 다국어 지원
  이미지 내 텍스트에 대해 영어, 중국어 외에도 대부분의 유럽 언어, 일본어, 한국어, 아랍어 등을 지원합니다. 
• 개방형 라이선스
  2B, 7B 모델은 오픈 소스로 공개되었고, 72B 모델은 API를 통해 제공됩니다. 

 

참고) 프로젝트, 코드, 데모