목록gguf (1)

AI 탐구노트

[Ollama] HuggingFace LLM 모델 사용하기

Ollama란?Ollama는 로컬 컴퓨터에서 LLM 모델을 실행하고 관리할 수 있는 플랫폼입니다. Macbook Air를 이용해서 LLM을 구동할 수 있는 방법을 찾아보다 알게 되었는데 어려운 환경 설정없이, GPU 없이도 생각보다 용이하게 모델들을 바꿔가며 실행할 수 있어 편리했습니다. 다만, 로컬에서 구동되는 LLM의 성능이 아무래도 OpenAI의 ChatGPT나 Claude에 비해 떨어지는 것은 현실이라, 데이터 보안 등이 필요치 않은 상황이면 굳이 이를 사용해야 할까 하는 생각에 경험만 해 보고는 잊고 있었습니다. Macbook Air에는 GPU가 없지 않나요?그렇죠.  Apple Silicon M1 칩이 강력하긴 하지만,  NIVIDA GPU 대비해서는 모자라는 것은 사실입니다. 게다가 LLM는..
AI 관련 소식 2024. 10. 20. 12:06
이전 Prev 1 Next 다음