목록nvml (1)

AI 탐구노트

python-smi : 프로그램에서 GPU 현황 확인

필요성 NVIDIA GPU를 사용하면서, AI 모델 추론이나 학습을 시키면서 남아 있거나 현재 사용 중인 GPU 현황이 궁금했던 적이 있을 겁니다. 모델 하나를 더 로딩하려다가 GPU 사용량 초과, 메모리 부족 등으로 인해 문제가 생기는 경우가 발생할 수 있기 때문이죠. 프레임워크에서 알아서 완벽하게 처리를 해 주면 좋겠지만 그렇지 못한 경우들이 종종 나타날 수 있기 때문에 서비스를 제공하는 입장에서는 항상 모니터링을 할 수 있도록 준비를 해 두는 것이 필요할 수 있습니다.   방법GPU 현황을 확인하는 방법은 다음과 같은 것들이 있습니다 . 1.별도의 창에서 nvidia-smi, nvitop 과 같은 외부 도구를 이용해 별도로 모니터링2.pycuda, pynvml 등의 NVIDIA python 패키지를..
기술 팁 2024. 10. 21. 12:24
이전 Prev 1 Next 다음