Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | 31 |
Tags
- AI 기술
- Stable Diffusion
- 오픈AI
- 오픈소스
- 메타
- LORA
- 딥러닝
- 일론 머스크
- 확산 모델
- OpenAI
- 시간적 일관성
- 멀티모달
- OpenCV
- 강화 학습
- AI
- 트랜스포머
- tts
- 오블완
- LLM
- ubuntu
- 다국어 지원
- TRANSFORMER
- PYTHON
- 생성형 AI
- 휴머노이드 로봇
- 인공지능
- ChatGPT
- 아두이노
- 티스토리챌린지
- 우분투
Archives
- Today
- Total
목록llm 경량화 (1)
AI 탐구노트
BitNet 1.58B : 1bit 양자화 기반 LLM 구현 기술
Microsoft가 공개한 1bit 양자화 기반 LLM 구현을 위한 기술 지난 2월에 Microsoft가 발표한 논문에서 소개된 기술입니다. LLM 모델 발표 초기에는 8bit, 4bit 하면서 연산량 절감 기술들이 많이 소개되었는데 그 이후부터는 기본으로 깔고 가서 그런지 그런 얘기들은 점점 메인 주제에서 보이지 않았습니다. 그러다 이번에 Microsoft가 발표한 논문은 BitNet 1.58B로 1bit 기술을 이용해서 LLM을 만들 수 있다는 소식을 전했습니다. (참고로 1.58B는 3개의 값(-1,0,1)을 동일한 확률로 인코딩할 때의 엔트로피값을 의미한답니다) BitNet 1.58B는 계산복잡성이 감소하고 처리속도는 빨라지고, 메모리 사용량은 줄게 될테니 전반적인 에너지 효율성은 크게 증가합니..
AI 기술
2024. 8. 26. 15:08