Octopus v2

Octopus v2는 안드로이드 기반 단말기기에서 동작하는 에이전트를 위한 LLM 입니다. 스마트폰 OS 가운데 안드로이드를 타겟으로 하고 있는 것 같습니다. 이를 공개한 NEXA AI의 사이트에 가 보면 Octopus 모델은 v2, v3, v4가 있고, 각각은 20억개 매개변수를 가진 언어모델,  10억개의 매개변수를 가진 텍스트와 이미지를 처리할 수 있는 멀티 모달 모델, 100억개의 매개변수를 가지면서 v2를 마스터노드로 사용하면서 다른 많은 오픈소스 모델들을 작업자 노드 역할을 하도록 만들어진 그래프 네트워크로 소개되어 있습니다.

 

이 가운데 Octopus v2는 안드로이드 API를 호출하는 기능에 특화되어 있으며 훈련 및 추론 단계 모두에 대한 고유한 기능적 토큰 전략을 채용해, 유사하게 온디바이스 AI를 위해 개발된 마이크로소프트의 Phi-3나 애플의 OpenELM 등과 비교했을 때에도 높은 성능과 월등히 빠른 추론속도를 보여줍니다. (RAG 기반 대비로도 35배나 빠르다고 하네요...) 스마트폰 어플리케이션에 적용될 경우, 사용자의 입력을 받아 실제 안드로이드 단말에서 시스템 관리, 디바이스 튜닝 등과 같은 여러가지 기능들을 실행할 수 있다고 합니다.

 

 

참고) 논문, 사이트, 소개글, 모델카드(허깅페이스), 영상

 

 

사진 : RAG 방식과 Octopus-v2 방식 간의 비교