Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- AI 기술
- 휴머노이드 로봇
- 강화 학습
- LLM
- TRANSFORMER
- PYTHON
- 실시간 렌더링
- 멀티모달
- tts
- 인공지능
- 시간적 일관성
- 우분투
- 일론 머스크
- 이미지 생성
- 메타
- 오픈AI
- 오블완
- 생성형 AI
- OpenAI
- 딥러닝
- 오픈소스
- OpenCV
- 아두이노
- 확산 모델
- AI
- 다국어 지원
- 티스토리챌린지
- LORA
- 트랜스포머
- ChatGPT
Archives
- Today
- Total
목록비동기 프로세스 (1)
AI 탐구노트
LightLLM : Python 기반 LLM 추론 및 API 제공 프레임워크
기존 LLM 추론 및 서비스 제공 방식은 다음과 같은 문제가 있었습니다. 메모리 파편화 : 대규모 LLM의 네트워크 가중치와 추론 과정에서 증가하는 KV 캐시는 메모리르 효율성을 저하비효율적인 요청 스케쥴링 : 동적으로 변하는 요청 길이 때문에 CPU 사용률이 낮아질 가능성이 높아짐커널 커스터마이징의 어려움 : LLM의 네트워크 성능을 최적화하기 위한 커널 커스터마이징이 어려워 개발 비용이 상승 LightLLM은 이러한 문제를 세분화된 TokenAttention 메커니즘과 Efficient Router 스케쥴링을 도입하여 메모리 관리 및 요청 스케쥴링 효율을 개선하고 이를 통해 시스템 전반의 처리량을 크게 향상 시킵니다. LightLLM의 아키텍처 설명 LightLLM의 핵심 설계는 다중 프로세스 협..
AI 기술
2024. 10. 3. 15:50