목록flash attention (1)

AI 탐구노트

TinyLlama : 저사양 장비에서 동작되는 소형 언어 모델 (sLM)

저사양 로컬 장비에서 구동가능한 소형 언어모델 (SLM)  TinyLlama는 StatNLP 연구 그룹과 싱가포르 기술 디자인 대학이 함께 개발한 11억 개의 매개변수로 작동하는 소형 언어모델(SLM)입니다.  아시는 바와 같이 LLM(Large Language Model)은 수많은 매개변수를 가지고 있으며 대부분은 수천억~수조개 수준의 대규모의 토큰을 가진 데이터셋으로 학습시키고 있습니다. Llama 모델을 공개한 Meta의 경우, 사전학습된 모델만 공개할 뿐 이를 학습시키기 위해 사용한 데이터셋 자체는 공개하고 있지 않습니다. 다들 이를 기반모델(base model)로 해서 각자의 용도에 맞춰 파인튜닝을 하는 방식으로 활용하고 있죠. TinyLlama는 3조개의 토큰 데이터로 학습되었고 11억개의 매..
AI 기술 2024. 8. 29. 21:34
이전 Prev 1 Next 다음