Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- 오블완
- 가상환경
- 오픈AI
- ubuntu
- 메타
- AI 기술
- 생성형 AI
- 아두이노
- 확산 모델
- 멀티모달
- OpenAI
- 서보모터
- 뉴럴링크
- TRANSFORMER
- javascript
- ControlNet
- 시간적 일관성
- 인공지능
- 티스토리챌린지
- 딥마인드
- 이미지 편집
- PYTHON
- AI
- 트랜스포머
- ChatGPT
- 일론 머스크
- 우분투
- LLM
- tts
- LORA
Archives
- Today
- Total
목록순수python (1)
AI 탐구노트
LightLLM : Python 기반 LLM 추론 및 API 제공 프레임워크
기존 LLM 추론 및 서비스 제공 방식은 다음과 같은 문제가 있었습니다. 메모리 파편화 : 대규모 LLM의 네트워크 가중치와 추론 과정에서 증가하는 KV 캐시는 메모리르 효율성을 저하비효율적인 요청 스케쥴링 : 동적으로 변하는 요청 길이 때문에 CPU 사용률이 낮아질 가능성이 높아짐커널 커스터마이징의 어려움 : LLM의 네트워크 성능을 최적화하기 위한 커널 커스터마이징이 어려워 개발 비용이 상승 LightLLM은 이러한 문제를 세분화된 TokenAttention 메커니즘과 Efficient Router 스케쥴링을 도입하여 메모리 관리 및 요청 스케쥴링 효율을 개선하고 이를 통해 시스템 전반의 처리량을 크게 향상 시킵니다. LightLLM의 아키텍처 설명 LightLLM의 핵심 설계는 다중 프로세스 협..
AI 기술
2024. 10. 3. 15:50