목록SubQ (1)

AI 탐구노트

SSA : 긴 문서를 통째로 넣어도 빠르게 답하는 AI 기술

SubQ라는 곳에서 SSA (Subquadratic Sparse Attention)라는 기술을 이용한 모델을 소개했습니다. (링크) SubQ 글의 핵심은 '긴 문서를 통째로 넣는 것보다, 그 긴 문서 안에서 정말 필요한 부분을 빠르고 정확하게 찾아 쓰는 것이 더 중요하다'는 것입니다. 이 글은 SubQ가 만든 SSA라는 attention 방식이 긴 컨텍스트를 실제 서비스에서 더 싸고 빠르게 쓸 수 있게 만든다고 설명합니다. 1. 왜 긴 컨텍스트가 어려운가? 일반적인 AI 모델의 attention은 입력된 모든 토큰이 서로를 전부 비교합니다. 쉽게 말하면, 문서가 10쪽이면 서로 비교할 양이 적지만, 문서가 1,000쪽이면 모든 문장끼리 계속 비교해야 해서 비용이 폭발적으로 늘어나게 됩니다. 글에서는..
AI 관련 소식 2026. 5. 8. 13:05
이전 Prev 1 Next 다음