Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- AI 기술
- 확산 모델
- LLM
- OpenAI
- 뉴럴링크
- 일론 머스크
- TRANSFORMER
- javascript
- 멀티모달
- 메타
- 딥마인드
- tts
- PYTHON
- 시간적 일관성
- ChatGPT
- 오픈AI
- 서보모터
- 티스토리챌린지
- 인공지능
- ubuntu
- LORA
- AI
- 생성형 AI
- 우분투
- 오블완
- 아두이노
- ControlNet
- 가상환경
- 이미지 편집
- 트랜스포머
Archives
- Today
- Total
목록계층 별 스케일링 (1)
AI 탐구노트
OpenELM : 애플이 공개한 경량 언어 모델
Apple에서 발표한 SLM(Small Language Model) 모델 OpenELM(Open Efficient Language Model)은 Apple에서 발표한 SLM(Small Language Model) 모델입니다. 그동안 구글, 메타 등에 비해 애플에서는 AI 관련한 기술 소개가 그리 많지 않았었습니다. 하지만 앞으로는 이름에 걸맞는 저력을 하나씩 공개해 나갈 것으로 예상됩니다. 이번에 발표된 OpenELM은 270M, 450M, 1.08B, 3.04B 큭기의 매개변수를 가지는 비교적 작은 크기의 모델로, 기본모델과 Instruct 모델이 포함됩니다. 계층 별 스케일링 전략을 채택하여 효율적인 매개변수 할당을 통해 자연어 이해 및 생성에서의 정확도를 향상시켰다고 합니다. 트랜스포머 기본 구조와..
AI 기술
2024. 8. 21. 22:39