Phi-3 : 성능 좋은 경량 언어모델

마이크로소프트에서 발표한 경량 언어모델

 

마이크로소프트에서 Phi-3를 발표했습니다. (2024.4)

 

phi-3는 SLM(Small Language Model)으로 이번에는 mini, small, medium 등 여러 버전으로 소개되었는데 각각 3.8B, 7B, 14B의 매개변수를 가지는 모델입니다. 이 가운데 mini 버전의 경우, 3.3조개의 토큰을 이용해 훈련되었고 4K 및 128K 토큰의 컨텍스트 길이를 지원하는 사전 학습모델이 HuggingFace에 올려져 있어 테스트 해 볼 수 있습니다.  작고 가볍지만 GPT-3.5보다 전반적으로 성능이 더 뛰어나다는데, 그 이유는 고품질의 데이터셋을 학습하고, 인간 피드백(RLHF)를 이용한 강화학습, 자동화된 테스트 및 평가와 레드팀을 통한 안전성 검토 등이 추가되었기 때문이라고 합니다.

 

phi-3에 대한 제일 기대되는 것은, 성능은 높으면서도 휴대전화에서 동작될 정도로 가볍고 빠르다는 것입니다. 그래서인지 모델이 발표되자마자 가져다가 응용을 하고 있는 곳들이 나타나고 있답니다.

 

사진: 4-bit 양자화된 phi-3-mini이 아이폰 상에서 동작하는 사례

 

참고) 논문, 소개글, 모델카드, 데모