목록경량 언어모델 (1)

AI 탐구노트

Phi-3 : 성능 좋은 경량 언어모델

마이크로소프트에서 발표한 경량 언어모델 마이크로소프트에서 Phi-3를 발표했습니다. (2024.4) phi-3는 SLM(Small Language Model)으로 이번에는 mini, small, medium 등 여러 버전으로 소개되었는데 각각 3.8B, 7B, 14B의 매개변수를 가지는 모델입니다. 이 가운데 mini 버전의 경우, 3.3조개의 토큰을 이용해 훈련되었고 4K 및 128K 토큰의 컨텍스트 길이를 지원하는 사전 학습모델이 HuggingFace에 올려져 있어 테스트 해 볼 수 있습니다.  작고 가볍지만 GPT-3.5보다 전반적으로 성능이 더 뛰어나다는데, 그 이유는 고품질의 데이터셋을 학습하고, 인간 피드백(RLHF)를 이용한 강화학습, 자동화된 테스트 및 평가와 레드팀을 통한 안전성 검토 등..
AI 기술 2024. 8. 22. 22:09
이전 Prev 1 Next 다음