MatMul-free Language Model : 행렬곱을 제거한 LLM

 

LLM(대규모 언어모델)에서 행렬 곱셈을 완전히 제거하면서도 성능을 유지하도록 만든 모델

 

1.개요

MatMul-free Languge Model (이하 MLM)은 LLM(대규모 언어모델)에서 행렬 곱셈을 완전히 제거하면서도 성능을 유지하도록 만든 모델입니다. 대부분의 신경망의 모델 학습과 추론 과정에는 아주 많은 행렬 곱셈이 사용됩니다. 처리해야 하는 데이터의 양이나 네트워크의 복잡도 등 다양한 이유로 인해 행렬곱의 양도 달라지게 되는데, LLM은 특성 상 많은 양의 행렬곱을 필요로 합니다.

 

2.적용 기술

일반적으로 Dense 레이어에서 입력 벡터와 가중치 행렬의 곱으로 출력을 계산하게 되는데 가중치를 {-1, 0, +1}의 값으로 제한하게 되면 곱셈 대신 덧셈과 뺄셈으로 계산을 대체할 수 있게 됩니다. 또, Self-Attention도 입력 벡터의 상호 관계를 계산하기 위해 행렬곱을 많이 사용하게 되는데 GRU(Gate Recursive Unit)가 상태를 업데이트하는 과정에서 행렬곱을 요소 별 곱셈 (element-wise multiplication)으로 대체하는 방식으로 변경했습니다.

사진 : MatMul-free LM 개요

 

 

MLM을 이용하면 행렬곱을 하지 않아 추론시에는 메모리 사용량을 10배 가량 감소시킬 수 있으며 , GPU나 FPGA와 같은 하드웨어에서 경량화된 연산을 활용하여 더 효율적으로 작동하도록 할 수 있습니다.

 

---

참고자료

 

1.논문

https://arxiv.org/pdf/2406.02528

 

 

2.코드 (깃헙)

GitHub - ridgerchu/matmulfreellm: Implementation for MatMul-free LM.

 

3.모델 (HuggingFace)

 

MatMulfree LM - a ridger Collection