TinyLlama : 저사양 장비에서 동작되는 소형 언어 모델 (sLM)

저사양 로컬 장비에서 구동가능한 소형 언어모델 (SLM)

 

TinyLlama는 StatNLP 연구 그룹과 싱가포르 기술 디자인 대학이 함께 개발한 11억 개의 매개변수로 작동하는 소형 언어모델(SLM)입니다. 

 

아시는 바와 같이 LLM(Large Language Model)은 수많은 매개변수를 가지고 있으며 대부분은 수천억~수조개 수준의 대규모의 토큰을 가진 데이터셋으로 학습시키고 있습니다. Llama 모델을 공개한 Meta의 경우, 사전학습된 모델만 공개할 뿐 이를 학습시키기 위해 사용한 데이터셋 자체는 공개하고 있지 않습니다. 다들 이를 기반모델(base model)로 해서 각자의 용도에 맞춰 파인튜닝을 하는 방식으로 활용하고 있죠.

 

TinyLlama는 3조개의 토큰 데이터로 학습되었고 11억개의 매개변수를 가집니다. Llama 2 아키텍처 기반 프레임워크와 토큰화 기술, 그리고 Flash Attention을 이용해 계산 효율을 높였습니다. 게다가 경량이다 보니 필요한 메모리 공간도 아주 적은 편이죠. 4bit로 양자화된 TinyLlama는 550MB의 메모리만 차지하는 수준이 될 것이라고 하죠. 

 

TinyLlama는 사양이 낮은 PC나 휴대전화, 임베디드 장비 등 인터넷 연결이 없는 상태에서 실시간으로 사용할 수 있는 성능 좋은 LLM을 얻을 수 있지 않을까 싶어 내심 기대하고 있습니다. 제발 이 시도가 성공적인 결론으로 끝나길 바랍니다. ^^ 

 

* 참고로 학습을 시작한 것은 2023년 9월 1일부터이며 2023년 12월에는 1.1 버전까지 학습 완료된 버전이 공개되었습니다. (허깅페이스 모델카드)

 

 

사진: FaceChain의 아키텍처

 

 

참고)  깃헙, 영상(설치), 모델카드(허깅페이스)