AI 탐구노트

필요성 NVIDIA GPU를 사용하면서, AI 모델 추론이나 학습을 시키면서 남아 있거나 현재 사용 중인 GPU 현황이 궁금했던 적이 있을 겁니다. 모델 하나를 더 로딩하려다가 GPU 사용량 초과, 메모리 부족 등으로 인해 문제가 생기는 경우가 발생할 수 있기 때문이죠. 프레임워크에서 알아서 완벽하게 처리를 해 주면 좋겠지만 그렇지 못한 경우들이 종종 나타날 수 있기 때문에 서비스를 제공하는 입장에서는 항상 모니터링을 할 수 있도록 준비를 해 두는 것이 필요할 수 있습니다.   방법GPU 현황을 확인하는 방법은 다음과 같은 것들이 있습니다 . 1.별도의 창에서 nvidia-smi, nvitop 과 같은 외부 도구를 이용해 별도로 모니터링2.pycuda, pynvml 등의 NVIDIA python 패키지를..

대화형 NVIDIA 장치 및 프로세스 모니터링 도구  nvitop은 NVIDIA GPU 상태 및 프로세스를 실시간으로 모니터링하는 인터랙티브 툴입니다. NVIDIA 그래픽 드라이버 설치 시 기본 제공되는 nvidia-smi보다 풍부한 정보를 제공하며, 사용자는 GPU 장치 상태, 프로세스 필터링, 리소스 사용량, 환경 변수 등을 모니터링할 수 있습니다. 또한, CUDA 장치 선택 도구(nvisel)와 머신러닝 프레임워크(TensorFlow, PyTorch)를 위한 콜백 함수도 지원합니다. 주요 기능은 다음과 같습니다. 실시간 리소스 모니터링프로세스 필터링 및 트리 뷰 제공다채로운 그래프와 유저 입력에 따른 상호작용 지원NVIDIA 드라이버 설치 스크립트 제공 실제 실행되면 다음과 같이 사용됩니다. 아래 ..