LARS : 로컬 LLM으로 사용자 문서를 분석하는 애플리케이션

 

 

로컬 LLM을 이용해 문서파일을 업로드한 후 이를 기준으로 대화를 진행할 수 있는 어플리케이션

 

LARS는 로컬 환경의 LLM(Large Language Models)으로 사용자 문서 기반으로 정확한 응답을 생성하는 오픈소스 응용 어플리케이션입니다.

 

로컬 환경에서 LLM을 구동하고, 로컬에서 사용자 문서를 업로드한 뒤 로컬 LLM이 업로드한 콘텐츠로 응답을 근거로 하는 대화를 진행할 수 있습니다. 

기존 LLM의 '환각 현상'으로 인한 문제를 해결하기 위해, LARS는 RAG(Retrieval Augmented Generation) 기술을 사용하여 사용자의 업로드 문서에서 인용 및 페이지 번호를 포함한 자세한 참고 자료를 제공합니다. 

 

이를 통해 LLM의 응답 정확도와 답변 신뢰성이 증가하고, 문서 기반 인용을 제공하여 사용자의 이해를 높일 수 있습니다. 게다가 내부 데이터의 외부 유출을 우려하는 기업 내부에서 잘 활용하면 효과를 볼 수 있는 솔루션이 아닌가 싶습니다. 

 

LARS의 특징은 다음과 같은 것들이 있습니다. 

• 다양한 파일 형식을 지원 (pdf, word, excel, powerpoint, image, html, 등등) - 단, LibreOffice 설치 필요
• CUDA 가속 추론 지원
• 다앙햔 고급 설정 변경 지원
• 다양한 LLM 지원 (Llama3, Phi3, Deepseek Coder, OpenChat-3.5 등등)
• 순수 llama.cpp 백엔드 기반
• 대화 기록 : 이전 대화를 포함하여 후속 질문 가능
• Docker 컨테이너로도 제공
• AGPL-3.0 라이선스

 

대충 흐름을 보면, LibreOffice를 이용해 다양한 파일 형식을 지원하고, pdf2image를 이용해 이미지 변환을 하며, 다양한 로컬 OCR을 지원하여 텍스트를 추출하고, 로컬 LLM을 이용해 내용을 분석하고 대화를 이어나갈 수 있도록 하고 있는 것으로 판단됩니다. 현재도 계속 새로운 기능이 업데이트되고 있는 것 같으니 관심을 가져보시는 것도 좋을 듯 합니다. 

 

 

 

참고) 코드, 영상