Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | 31 |
Tags
- TRANSFORMER
- 인공지능
- 시간적 일관성
- OpenCV
- 딥러닝
- LLM
- 오블완
- 트랜스포머
- 휴머노이드 로봇
- 오픈소스
- 다국어 지원
- 메타
- 생성형 AI
- OpenAI
- 오픈AI
- AI
- Stable Diffusion
- ubuntu
- 아두이노
- ChatGPT
- 우분투
- 일론 머스크
- PYTHON
- 강화 학습
- 티스토리챌린지
- LORA
- 확산 모델
- tts
- AI 기술
- 멀티모달
Archives
- Today
- Total
목록디코더 전용 트랜스포머 (1)
AI 탐구노트
OpenELM : 애플이 공개한 경량 언어 모델
Apple에서 발표한 SLM(Small Language Model) 모델 OpenELM(Open Efficient Language Model)은 Apple에서 발표한 SLM(Small Language Model) 모델입니다. 그동안 구글, 메타 등에 비해 애플에서는 AI 관련한 기술 소개가 그리 많지 않았었습니다. 하지만 앞으로는 이름에 걸맞는 저력을 하나씩 공개해 나갈 것으로 예상됩니다. 이번에 발표된 OpenELM은 270M, 450M, 1.08B, 3.04B 큭기의 매개변수를 가지는 비교적 작은 크기의 모델로, 기본모델과 Instruct 모델이 포함됩니다. 계층 별 스케일링 전략을 채택하여 효율적인 매개변수 할당을 통해 자연어 이해 및 생성에서의 정확도를 향상시켰다고 합니다. 트랜스포머 기본 구조와..
AI 기술
2024. 8. 21. 22:39