AI 탐구노트

1.서론1.2.기존 LLM의 문제점 ChatGPT와 같은 기존 대형 언어 모델(LLM) 추론은 텍스트 생성 등의 작업에서 모든 레이어를 거치면서 순차적 계산을 합니다. 당연히 처리 속도가 느리고 많은 메모리가 필요하게 되며 일반 컴퓨터에서는 효율적이지 않습니다. 특히 모바일 기기나 엣지 디바이스 등에서 실행하기에는 무리가 있죠. 기존의 속도를 높이기 위한 방법으로 다른 방식들도 초안 기본 모델과 검증 모델 두개를 사용해 예측하기 위해 복잡한 구현물과 많은 메모리 사용이 역시 문제였습니다.  1.2.LayerSkipLayerSkip은 Meta에서 공개한, 대형 언어 모델의 추론 속도를 높이기 위해 레이어를 건너뛰는 기법과 자가 추론 방식을 결합하여 연산 비용을 줄이면서도 정확도를 유지할 수 있습니다. 그리..

비전 인코더를 결합하여 멀티모달 대형 언어 모델(MLLM)의 시각적 인식 능력을 최적화한 모델 EAGLE은 다양한 비전 인코더를 결합하여 멀티모달 대형 언어 모델(MLLM)의 시각적 인식 능력을 최적화한 모델입니다.기존의 멀티모달 모델들은 주로 낮은 해상도 이미지 처리에 한정되었으며, 시각 인코더 선택 및 결합 전략에 대한 체계적인 비교와 세부적인 연구가 부족했고 이는 결과적으로 OCR 및 문서 분석과 같이 해상도가 민감한 작업에서 성능 저하를 초래했습니다. EAGLE은 여러 비전 인코더의 조합과 고해상도 적응을 통해 이러한 문제를 해결하고자 합니다. 특히, 각 인코더의 시각적 토큰을 단순히 결합하는 방식이 복잡한 혼합 아키텍처만큼 효과적이며, 비전 인코더와 언어 토큰 간의 사전 정렬(Pre-Alignm..