목록Chunk Embedding (1)

AI 탐구노트

REFRAG : 문서 압축 + 선택적 복원, RAG를 훨씬 더 빠르게 만드는 방법

대규모 언어모델(LLM)은 방대한 데이터를 학습하고, 질문에 답하거나 글을 생성할 수 있습니다. 그러나 이 모델이 모든 지식을 다 기억하는 것은 불가능하기 때문에, 검색을 통해 외부 지식을 불러와 활용하는 방식이 널리 사용되고 있습니다. 이를 검색 기반 생성(RAG: Retrieval-Augmented Generation) 이라고 부르죠. 예를 들어, 질문을 받으면 먼저 관련 문서를 찾아오고, 그 문서를 바탕으로 답변을 생성하는 식입니다.하지만 이런 방식에는 큰 문제가 있습니다. 검색을 통해 가져온 문서가 많아질수록 모델이 처리해야 하는 입력의 길이가 길어지고, 그만큼 계산 속도가 느려집니다. 특히 답변의 첫 단어를 출력하기까지 걸리는 시간이 매우 길어지는데, 이는 사용자 경험에 직접적인 불편을 줍니다...
AI 기술 2025. 9. 10. 11:35
이전 Prev 1 Next 다음