목록경량화된 연산 (1)

AI 탐구노트

MatMul-free Language Model : 행렬곱을 제거한 LLM

LLM(대규모 언어모델)에서 행렬 곱셈을 완전히 제거하면서도 성능을 유지하도록 만든 모델 1.개요MatMul-free Languge Model (이하 MLM)은 LLM(대규모 언어모델)에서 행렬 곱셈을 완전히 제거하면서도 성능을 유지하도록 만든 모델입니다. 대부분의 신경망의 모델 학습과 추론 과정에는 아주 많은 행렬 곱셈이 사용됩니다. 처리해야 하는 데이터의 양이나 네트워크의 복잡도 등 다양한 이유로 인해 행렬곱의 양도 달라지게 되는데, LLM은 특성 상 많은 양의 행렬곱을 필요로 합니다. 2.적용 기술일반적으로 Dense 레이어에서 입력 벡터와 가중치 행렬의 곱으로 출력을 계산하게 되는데 가중치를 {-1, 0, +1}의 값으로 제한하게 되면 곱셈 대신 덧셈과 뺄셈으로 계산을 대체할 수 있게 됩니다. 또..
AI 기술 2024. 8. 15. 09:45
이전 Prev 1 Next 다음