AI 탐구노트

사람들이 어떤 것에 관심을 가지고 있을까? 갑자기 궁금해졌습니다. 왜냐면 제 블로그 글에는 여전히 구독자도, 방문객도 얼마 되지 않기 때문입니다. 그도 그럴 것이 제가 좋아하는 주제 자체가 일반 사람들의 관심을 많이 끌만한 것은 아니긴 합니다. ^^; 저는 구글 트렌드를 자주 사용하진 않지만 정말 유용한 도구라는 것은 잘 알고 있죠. 구글 트렌드를 이용하면 사람들이 최근 어떤 것에 관심을 가지고 있는지를 파악할 수 있으니까요... 예를 들어 아래는 국내 24시간 이내 검색 트랜드에 대한 정보입니다.   검색량으로만 보면 날씨를 궁금해 하는 분이 가장 많네요. 아무래도 아침부터 계속 비가 내려서겠죠. 언제쯤 그칠지, 그래야 이후 일정을 다 짤 수 있을테니까요. 그 외에 최근 나온 드라마, 로또 청약 가능한..

카카오, AI 메이트 '카나나'로 미래 AI 비전 제시카카오는 if(kakaoAI)2024에서 그룹 AI 통합 브랜드 '카나나(Kanana)'를 발표하며 AI 기반 미래 비전을 공개했습니다. 카나나는 사용자와의 대화를 통해 성장하는 AI 메이트로, 그룹 대화에서 맥락을 파악해 맞춤형 정보를 제공합니다. 또한, 카카오는 언어모델과 멀티모달 AI 기술을 포함한 다양한 AI 연구 성과와 향후 계획을 공유했습니다. 카카오, ‘if(kakaoAI)2024’에서 그룹 AI 비전 공개…AI 메이트 ‘카나나’도 처음 선보여#이프카카오2024www.kakaocorp.com  최근 카카오는 많은 구설과 법적, 제도적 리스크에 직면해 있습니다. 계획보다 훨씬 늦어지긴 했지만 이제라도 그룹전체의 AI 비전과 방향성을 수립한 ..

Whisper Turbo Whisper Turbo는 OpenAI에서 개발한 Whipser의 최신 버전입니다. 'Turbo'라는 이름이 붙은 것처럼 높은 정확도에도 불구하고 기존 대비 처리 속도가 대폭 빨라졌습니다. 최대 8배 가까이  환경 구성 1.Anaconda 가상 환경$ conda create -n whisper python=3.10$ conda activate whisper 2.pytorch 설치  Whisper Turbo +  1.Flash Attention 2 설치이 녀석은 추론 속도를 최적화해서 제공하므로 설치하는 것이 좋다고 해서 진행합니다. github repository에는 설치 과정도 아래 딱 한 줄 명령어라 너무 쉽게 생각했던 것 같습니다. $ pip install flash-att..

와우테일 10월 16일자 기사로 스타트업의 기술을 탈취하는 대기업들의 행태와 이를 막기 위한 중기부의 방안에 대한 내용이 올라 왔습니다. 이 기사를 보면서 생각나는 것이 있어 잠시 정리하고 가려고 합니다.    스타트업 기술 탈취시 개발 비용까지 배상...중기부, 기술 보호·구제 강화 - 와우테일중소벤처기업부(이하 중기부)는 16일 열린 ‘경제관계장관회의’에서 '스타트업 혁신 기술 보호·구제 강화 방안'을 발표했다.wowtale.net  대기업들의 '기술 탈취'  스타트업 생태계는 혁신적인 기술과 아이디어가 넘쳐 나지만, 대기업과의 불균형한 관계로 인해 생존의 위기에 처할 때가 많습니다. 특히, 스타트업이 개발한 기술을 대기업이 탈취하는 문제는 그 심각성이 큰데, 그 이유는 이러한 기술 탈취 행위가 단지..

필요성 NVIDIA GPU를 사용하면서, AI 모델 추론이나 학습을 시키면서 남아 있거나 현재 사용 중인 GPU 현황이 궁금했던 적이 있을 겁니다. 모델 하나를 더 로딩하려다가 GPU 사용량 초과, 메모리 부족 등으로 인해 문제가 생기는 경우가 발생할 수 있기 때문이죠. 프레임워크에서 알아서 완벽하게 처리를 해 주면 좋겠지만 그렇지 못한 경우들이 종종 나타날 수 있기 때문에 서비스를 제공하는 입장에서는 항상 모니터링을 할 수 있도록 준비를 해 두는 것이 필요할 수 있습니다.   방법GPU 현황을 확인하는 방법은 다음과 같은 것들이 있습니다 . 1.별도의 창에서 nvidia-smi, nvitop 과 같은 외부 도구를 이용해 별도로 모니터링2.pycuda, pynvml 등의 NVIDIA python 패키지를..

어제 저녁 AI타임스에 우크라이나-러시아 간 전쟁 관련해서 올라온 기사가 있었습니다.   우크라이나, AI로 드론 살상률 80%까지 끌어올려 - AI타임스인공지능(AI)의 도입으로 우크라이나 전쟁에서 투입된 드론의 살상률이 80%까지 높아졌다는 소식이 전해졌다. 우크라이나는 이미 \'미래 전쟁의 시험장\'으로 불리고 있으며, 올해 100만대의 드론www.aitimes.com 해당 기사의 내용은 전장에서 사용되는 공격용 드론에 AI가 탑재됐고 이로 인해 살상률이 기존 50% 수준에서 80% 수준으로 올라갔다는 것입니다. 드론 명중률이 10%(초급 조종사)-> 50%(베태랑 조종사)-> 80%(AI활용) 이렇게 급격히 좋아졌고, 여기서 AI는 공격 대상을 식별하고 어떤 무기로 공격할지를 결정하는 역할을 한답..

Janus는 이미지와 텍스트를 동시에 이해하고 생성할 수 있는 모델입니다.  기존 멀티모달 모델은 하나의 이미지 인코딩 방식을 이해와 생성에 모두 사용했습니다. 그런데 사실 이 두 작업이 요구하는 정보가 다릅니다. 이미지를 이해하는 작업은 이미지 속의 사물이나 장면을 분석해서 높은 수준의 의미를 추출해야 하고, 생성 작업은 이미지의 세부적인 부분을 그리거나 표현해야 합니다. 그러다보니 하나의 인코딩 방식으로 두 작업을 모두 수행하게 되면 성능이 떨어지는 문제가 있었습니다.   Janus는 시각적 인코딩을 이미지 이해용과 생성용 두 가지로 분리했습니다. 이 두 인코더를 하나의 통합된 Transformer 구조 안에서 결합해, 작업에 맞는 것을 각각 사용할 수 있도록 했고, 이 덕분에 두 작업 간의 충돌을 ..

대규모 언어 모델(LLM)이 스스로의 행동을 이해하고 예측할 수 있는 능력, 즉 '내적성찰(Introspection)'에 대해 실험적 연구 결과가 공개되었습니다. 즉, '내가 이런 질문을 받으면 어떤 대답을 할까?' 같은 질문에 스스로 답할 수 있는지를 실험한 것이죠. 저자 목록을 보면 Truthful AI, Scale AI, Anthropic, Eleos AI, UC Bekeley 등 다양한 학교와 기업에 속한 분들이 참여한 공동 연구 결과입니다.   보통 LLM은 훈련된 데이터를 바탕으로 답하다보니, 그 데이터의 범위를 넘어서는 질문이 나올 경우 성능이 떨어지고 환각(Hallucination)을 발생시키기 마련입니다. 이번 연구에서는 모델들이 그 범위를 넘어서 자기 행동에 대한 정보를 스스로 활용할 ..

문제 발생사용하고 있는 conda 환경에서 pip로 패키지를 설치하려는데 다음과 같은 오류가 발생했습니다. 가장 자주 사용하던 환경이라 뭔가 많이 낯설게 느껴집니다. 뭐지? (cu124) sol@solOffice:~$ pip install transformerserror: externally-managed-environment× This environment is externally managed╰─> To install Python packages system-wide, try apt install python3-xyz, where xyz is the package you are trying to install. If you wish to install a non-Debian-p..

Ollama란?Ollama는 로컬 컴퓨터에서 LLM 모델을 실행하고 관리할 수 있는 플랫폼입니다. Macbook Air를 이용해서 LLM을 구동할 수 있는 방법을 찾아보다 알게 되었는데 어려운 환경 설정없이, GPU 없이도 생각보다 용이하게 모델들을 바꿔가며 실행할 수 있어 편리했습니다. 다만, 로컬에서 구동되는 LLM의 성능이 아무래도 OpenAI의 ChatGPT나 Claude에 비해 떨어지는 것은 현실이라, 데이터 보안 등이 필요치 않은 상황이면 굳이 이를 사용해야 할까 하는 생각에 경험만 해 보고는 잊고 있었습니다. Macbook Air에는 GPU가 없지 않나요?그렇죠.  Apple Silicon M1 칩이 강력하긴 하지만,  NIVIDA GPU 대비해서는 모자라는 것은 사실입니다. 게다가 LLM는..