BitNet 1.58B : 1bit 양자화 기반 LLM 구현 기술

Microsoft가 공개한 1bit 양자화 기반 LLM 구현을 위한 기술 

 

지난 2월에 Microsoft가 발표한 논문에서 소개된 기술입니다. LLM 모델 발표 초기에는 8bit, 4bit 하면서 연산량 절감 기술들이 많이 소개되었는데 그 이후부터는 기본으로 깔고 가서 그런지 그런 얘기들은 점점 메인 주제에서 보이지 않았습니다. 그러다 이번에 Microsoft가 발표한 논문은 BitNet 1.58B로 1bit 기술을 이용해서 LLM을 만들 수 있다는 소식을 전했습니다. (참고로 1.58B는 3개의 값(-1,0,1)을 동일한 확률로 인코딩할 때의 엔트로피값을 의미한답니다)

 

BitNet 1.58B는 계산복잡성이 감소하고 처리속도는 빨라지고, 메모리 사용량은 줄게 될테니 전반적인 에너지 효율성은 크게 증가합니다. 게다가 이렇게까지 경량화가 된다면 고사양의 GPU에 의존하는 정도도 줄어들 수 있겠죠. 이 방식에 최적화된 회로를 가진 연산장치를 개발하는 것이 상대적으로 쉬울 수도 있을테니까요.

 

아쉽게도 아직은 공식 구현체는 발표되지 않았습니다. 다만, 비공식적으로 논문 내용을 구현하고 있는 분은 있더군요. 

 

 

사진 : BitNet b1.58의 계산 패러다임 설명

 

 

 

참고) 논문, 관련글, 소개영상, 코드(비공식), 코드(비공식)