AI 탐구노트

Whisper Turbo Whisper Turbo는 OpenAI에서 개발한 Whipser의 최신 버전입니다. 'Turbo'라는 이름이 붙은 것처럼 높은 정확도에도 불구하고 기존 대비 처리 속도가 대폭 빨라졌습니다. 최대 8배 가까이  환경 구성 1.Anaconda 가상 환경$ conda create -n whisper python=3.10$ conda activate whisper 2.pytorch 설치  Whisper Turbo +  1.Flash Attention 2 설치이 녀석은 추론 속도를 최적화해서 제공하므로 설치하는 것이 좋다고 해서 진행합니다. github repository에는 설치 과정도 아래 딱 한 줄 명령어라 너무 쉽게 생각했던 것 같습니다. $ pip install flash-att..

Lightning AI가 공개한 AI 모델 서빙을 위한 고속의 유연한 엔진 LitServe는 AI 모델을 웹 서비스로 배포하는 과정을 간소화하고, 기존 방식 대비 최대 50% 더 빠른 배포 속도를 제공하는 도구입니다. 기존의 AI 모델 배포 도구들은 복잡한 설정과 높은 기술적 요구사항이 있어, 인프라 구축과 확장성에 어려움을 겪으며 배포 시간이 오래 걸리기도 하고 동시 요청 처리나 성능 최적화가 어렵고 GPU 리소스를 효과적으로 관리하거나 확장하는데 한계가 있었습니다.  LitServe는 FastAPI 기반의 AI 모델 서빙 엔진으로, 배치 처리와 GPU 자동 확장 기능을 제공해 기존 문제를 해결합니다. 간단한 설정과 사용자 친화적인 인터페이스로, 초보자도 쉽게 모델을 배포할 수 있도록 도와주며, PyT..