목록Hash Embedding (1)

AI 탐구노트

Engram : 자주 쓰는 표현은 메모리에서 꺼내 쓰는 LLM 최적화

요즘 대형 언어 모델(LLM)은 '크게 만들되, 계산은 아끼는' 방향으로 발전해 왔습니다. 대표적인 것이 MoE(Mixture-of-Experts)인데, 모든 파라미터를 매번 다 쓰지 않고 딱 맞는 분야의 전문가만 붙여 계산해서 비용을 줄입니다. 그런데 이 방식만으로는 한 가지 문제가 여전히 남습니다. 모델이 사실상 검색을 못 하니, 이미 정해진 지식이나 자주 나오는 표현까지도 매번 계산으로 재구성해야 한다는 점입니다. 이 과정이 특히 초반 레이어(층)에서 깊이를 많이 잡아먹습니다. 현실의 텍스트는 두 성격이 섞여 있습니다. 하나는 추론처럼 맥락에 따라 달라지는 동적인 계산이고, 다른 하나는 고유명사·관용구·정형 패턴처럼 로컬하고 정적인 패턴입니다. 논문에서는 이 둘을 한 가지 메커니즘으로 처리하는 게 ..
AI 기술 2026. 1. 18. 13:31
이전 Prev 1 Next 다음