AI 탐구노트

필요성 NVIDIA GPU를 사용하면서, AI 모델 추론이나 학습을 시키면서 남아 있거나 현재 사용 중인 GPU 현황이 궁금했던 적이 있을 겁니다. 모델 하나를 더 로딩하려다가 GPU 사용량 초과, 메모리 부족 등으로 인해 문제가 생기는 경우가 발생할 수 있기 때문이죠. 프레임워크에서 알아서 완벽하게 처리를 해 주면 좋겠지만 그렇지 못한 경우들이 종종 나타날 수 있기 때문에 서비스를 제공하는 입장에서는 항상 모니터링을 할 수 있도록 준비를 해 두는 것이 필요할 수 있습니다.   방법GPU 현황을 확인하는 방법은 다음과 같은 것들이 있습니다 . 1.별도의 창에서 nvidia-smi, nvitop 과 같은 외부 도구를 이용해 별도로 모니터링2.pycuda, pynvml 등의 NVIDIA python 패키지를..

어제 저녁 AI타임스에 우크라이나-러시아 간 전쟁 관련해서 올라온 기사가 있었습니다.   우크라이나, AI로 드론 살상률 80%까지 끌어올려 - AI타임스인공지능(AI)의 도입으로 우크라이나 전쟁에서 투입된 드론의 살상률이 80%까지 높아졌다는 소식이 전해졌다. 우크라이나는 이미 \'미래 전쟁의 시험장\'으로 불리고 있으며, 올해 100만대의 드론www.aitimes.com 해당 기사의 내용은 전장에서 사용되는 공격용 드론에 AI가 탑재됐고 이로 인해 살상률이 기존 50% 수준에서 80% 수준으로 올라갔다는 것입니다. 드론 명중률이 10%(초급 조종사)-> 50%(베태랑 조종사)-> 80%(AI활용) 이렇게 급격히 좋아졌고, 여기서 AI는 공격 대상을 식별하고 어떤 무기로 공격할지를 결정하는 역할을 한답..

Janus는 이미지와 텍스트를 동시에 이해하고 생성할 수 있는 모델입니다.  기존 멀티모달 모델은 하나의 이미지 인코딩 방식을 이해와 생성에 모두 사용했습니다. 그런데 사실 이 두 작업이 요구하는 정보가 다릅니다. 이미지를 이해하는 작업은 이미지 속의 사물이나 장면을 분석해서 높은 수준의 의미를 추출해야 하고, 생성 작업은 이미지의 세부적인 부분을 그리거나 표현해야 합니다. 그러다보니 하나의 인코딩 방식으로 두 작업을 모두 수행하게 되면 성능이 떨어지는 문제가 있었습니다.   Janus는 시각적 인코딩을 이미지 이해용과 생성용 두 가지로 분리했습니다. 이 두 인코더를 하나의 통합된 Transformer 구조 안에서 결합해, 작업에 맞는 것을 각각 사용할 수 있도록 했고, 이 덕분에 두 작업 간의 충돌을 ..

대규모 언어 모델(LLM)이 스스로의 행동을 이해하고 예측할 수 있는 능력, 즉 '내적성찰(Introspection)'에 대해 실험적 연구 결과가 공개되었습니다. 즉, '내가 이런 질문을 받으면 어떤 대답을 할까?' 같은 질문에 스스로 답할 수 있는지를 실험한 것이죠. 저자 목록을 보면 Truthful AI, Scale AI, Anthropic, Eleos AI, UC Bekeley 등 다양한 학교와 기업에 속한 분들이 참여한 공동 연구 결과입니다.   보통 LLM은 훈련된 데이터를 바탕으로 답하다보니, 그 데이터의 범위를 넘어서는 질문이 나올 경우 성능이 떨어지고 환각(Hallucination)을 발생시키기 마련입니다. 이번 연구에서는 모델들이 그 범위를 넘어서 자기 행동에 대한 정보를 스스로 활용할 ..

문제 발생사용하고 있는 conda 환경에서 pip로 패키지를 설치하려는데 다음과 같은 오류가 발생했습니다. 가장 자주 사용하던 환경이라 뭔가 많이 낯설게 느껴집니다. 뭐지? (cu124) sol@solOffice:~$ pip install transformerserror: externally-managed-environment× This environment is externally managed╰─> To install Python packages system-wide, try apt install python3-xyz, where xyz is the package you are trying to install. If you wish to install a non-Debian-p..