AI 탐구노트

현대의 인공지능(AI) 모델들은 자연어 처리(NLP)와 이미지 인식 분야에서 비약적인 발전을 이루었지만, 오디오를 효과적으로 이해하고 추론하는 능력은 여전히 제한적입니다. 인간은 비언어적 소리, 음악, 환경음을 통해 감정과 상황을 해석할 수 있으며, AI 역시 이러한 능력을 갖춘다면 보다 자연스럽고 직관적인 상호작용이 가능해지겠죠. 최근 몇 년간 오디오-언어 모델(Audio-Language Model, ALM)이 발전하면서 AI의 청각적 이해력도 향상되고 있습니다. 대표적으로 Contrastive Language-Audio Pre-training(CLAP) 같은 모델은 오디오와 언어 간의 관계를 학습하는 데 사용되어 왔지만, 기존 ALM은 짧은 오디오(최대 30초)만을 처리할 수 있었고, 전문가 수준의 ..

X에서 신기한 글을 하나 봤습니다. Nvidia RTX4090에 96GB의 VRAM을 달아서 사용하는 사례였습니다.   X의 青龍聖者님(@bdsqlsz)4090 96gb verify.😎x.com 글을 내용을 봐서는 중국 쪽 분의 게시글 같았는데 증빙을 하느라 실제 돌아가는 화면과 사진을 첨부했습니다.   NVIDIA에서 정상적으로 판매하는 제품은 RTX4090에는 24GB VRAM만 존재하므로 이 사진이 정말이라면 물리적으로 VRAM을 추가하도록 개조한 것으로 볼 수 있습니다.  최근 생성형 AI나 LLM을 개발하기 위해서는 GPU의 코어 성능, 메모리 대역폭도 중요하지만 사용가능한 VRAM 용량도 그 못지않게 중요해졌습니다. 참고로 고가형 GPU들 가운데 A100, H100은 80GB, 최신 H200..

1.개요1.1.기존 문제점기존 휴머노이드 로봇 제어 방식은 각각의 작업에 맞춘 별도의 제어기가 필요했습니다. 예를 들어 로봇이 이동할 때와 물건을 집을 때 각기 다른 방식으로 제어를 하게 되고 작업이 추가될 때마다 제어 시스템을 다시 훈련하거나 수정해야 했습니다. 1.2 HOVERHOVER는 휴머노이드 로봇이 이동, 물건 조작 등 여러 다양한 작업을 하나의 통합된 제어 시스템으로 수행하도록 돕는 기술입니다. NVIDIA 연구진이 소형 신경망을 개발해 특화된 시스템보다 효율적으로 휴머노이드를 제어할 수 있음을 보여준 것입니다.  2.HOVER 기술요소 2.1.특징 HOVER는 여러 작업 모드를 하나로 통합하여 로봇이 이동하거나 물건을 다루는 동작을 하나의 제어 방식으로 자연스럽게 전환할 수 있도록 할 수 ..

Black Forest Labs, Flux.1.1 Pro 출시Black Forest Labs가 기존 1.0 버전 대비 더 빠른 속도와 더 우수한 이미지 품질을 보여주는  Flux 1.1 Pro를 출시했는데, 이는  MidJourney 보다 우수하다고 평가받고 있습니다. (AI타임스) 품질이 향상된 생성형 모델들이 계속해서 나오고 있습니다.최근 나온 모델들을 보면 실제와 AI를 구분하지 못하는 수준이 된 것 같기도 합니다. 다양한 솔루션들의 출시로 시장이 포화되면 그 다음은 각자 자신이 우수한 분야를 특화해서 시장을 선점하려 하겠죠. 앞으로 이런 우수한 기술을 가진 기업들이 어떤 재미난 서비스들을 출시하게 될 지 기대됩니다. NVIDIA, GPT-4와 경쟁할 오픈 소스 AI 모델 NVLM-D-72B 공개N..

소형이지만 강력한 성능, 엔비디아의 라마 3.1-미니트론 4B 모델 공개 NVIDIA가 소형 언어모델(sLM) 'Llama-3.1-Minitron 4B와 8B'를 공개했습니다. 좀 더 큰 모델인 Nemotron 15B에서 가중치 가지치기(Pruninig), 지식 증류(Knowledge Distilation) 기술을 결합해서 만들었다고 합니다. 덩치는 작아졌지만 MMLU 기준 성능은 16% 가량 더 향상되었고 교육을 위한 토큰 수도 최대 40배 감소했다고 하네요. (링크)