Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- 티스토리챌린지
- OpenAI
- LORA
- 확산 모델
- ubuntu
- AI
- 트랜스포머
- ControlNet
- 서보모터
- tts
- 인공지능
- 뉴럴링크
- 메타
- 일론 머스크
- 멀티모달
- 시간적 일관성
- ChatGPT
- AI 기술
- 오블완
- 가상환경
- javascript
- LLM
- 오픈AI
- TRANSFORMER
- 딥마인드
- 아두이노
- 생성형 AI
- 이미지 편집
- PYTHON
- 우분투
Archives
- Today
- Total
AI 탐구노트
NVIDIA, Llama-3.1 Minitron 4B/8B 모델 공개 본문
소형이지만 강력한 성능, 엔비디아의 라마 3.1-미니트론 4B 모델 공개
NVIDIA가 소형 언어모델(sLM) 'Llama-3.1-Minitron 4B와 8B'를 공개했습니다. 좀 더 큰 모델인 Nemotron 15B에서 가중치 가지치기(Pruninig), 지식 증류(Knowledge Distilation) 기술을 결합해서 만들었다고 합니다. 덩치는 작아졌지만 MMLU 기준 성능은 16% 가량 더 향상되었고 교육을 위한 토큰 수도 최대 40배 감소했다고 하네요. (링크)
'AI 관련 소식' 카테고리의 다른 글
| 2024.8.20 관심 뉴스 (0) | 2024.08.20 |
|---|---|
| 2024.8.19 관심 뉴스 (0) | 2024.08.20 |
| 인공지능 연구거점 사업 수행 기관 선정 완료 (0) | 2024.08.18 |
| 한국의 AI 분야 수준은 어디까지 와 있나? (0) | 2024.08.18 |
| BMW, 생산 공정에 인간형 로봇 도입 시험 (0) | 2024.08.18 |
'AI 관련 소식' Related Articles
more
