AI 탐구노트

국가 차원에서 AI 경쟁력 확보를 위한 마중물로, AI 인프라 구축에 열을 올리겠다는 발표가 있었던 것이 오래지 않았습니다. 최근에는 5만개 수준의 GPU 확보에서 20만개 확보로 목표가 상향되었다는 소식이 있었습니다. AI 거품에 대한 우려도 있긴 하지만 아직은 AI로 인해 세상이 바뀌게 되는 초입 정도라는 것이 다수의 의견인 상황이라 저도 이런 정도의 준비는 필요하다고 생각합니다. 오늘은 GPU 컴퓨팅의 핵심이라고 할 수 있는 CUDA에 대한 내용을 간략하게 정리해 보고 넘어가겠습니다. 물론 GPU의 내부 구조에 대한 이해와, 이를 바탕으로 한 프로그래밍 레벨의 커널 개발 뭐 이런 수준으로 하겠다는 것은 아닙니다. ^^; 1️⃣ CUDA 개요 CUDA는 NVIDIA가 개발한 GPU 용 병렬 컴퓨팅 ..

로컬 컴퓨터에 Pytorch 설치하는 방법입니다. 자주 사용하지는 않지만 conda나 venv로 가상환경을 만들 때 cuda 버전과 pytorch 버전 매칭을 할 때 가끔씩 필요한 경우가 있죠. 혹시나 모르시는 분들이 있을까 싶어 요약, 정리해 둡니다. 최신 버전 Pytorch 설치 커맨드정말 간단합니다. Pytorch 공식 사이트에 가보면 'Start Locally'에서 다음과 같이 커맨드를 확인할 수 있거든요. 이전 버전의 Pytorch에 대해서는? 앞서 언급한 페이지에 공개된 것은 가장 최신 버전들의 경우이고, 이전 버전의 경우는 이곳에서 확인할 수 있습니다. 그런데 위의 두 케이스에서 볼 수 있는 것처럼 torch, torchvision, torchaudio 는 셋트로 움직이는 것이라 버전을..

Anaconda를 이용해 CUDA, cuDNN가 지원되는 가상환경을 만드는 과정은 다음과 같습니다.간소화된 버전이라 이후 필요한 python 패키지들에 대해서는 각자 준비하는 것으로... CUDA 12.4에 cuDNN은 최신 버전, Python은 3.11로 맞추며, Anaconda는 이미 설치되어 있다고 가정합니다.   NVIDIA driver 설치다만 CUDA를 설치하기 위해서는 해당 버전을 지원하는 Nvidia driver가 미리 설치되어 있어야 합니다. 지원하는 CUDA 버전을 확인하는 방법은 다음과 같습니다. (오른 쪽 상단 확인. 12.4 버전까지 지원한다는 의미) $ nvidia-smi CUDA  설치 (12.4 버전)$ wget https://developer.download.nvidia.c..