AI 탐구노트

AI 기술이 발전하는 속도가 정말 빠릅니다. 불과 2년 전까지만 해도 챗GPT 같은 생성형 AI가 화제였는데, 이제는 그다음 단계로 넘어가고 있죠. 바로 거대세계모델(Large World Model, LWM) 시대가 열리고 있습니다. 기존의 LLM(거대언어모델)이 언어를 중심으로 AI를 발전시켰다면, LWM은 현실 세계를 직접 이해하고 시뮬레이션하는 방향으로 진화하고 있습니다. 이 변화는 단순한 기술 발전이 아니라 AI가 실제 환경에서 인간과 상호작용하는 방식 자체를 바꾸는 혁신적인 전환점이 될 것입니다. 오늘은 LLM과 LWM의 차이점, 그리고 LWM이 메타버스뿐만 아니라 휴머노이드 로봇 기술에도 어떻게 영향을 미치는지 살펴보겠습니다.LLM vs. LWM, 무엇이 다를까?1) LLM: 언어를 이해하는 ..

1. 서론인공지능(AI) 분야는 최근 몇 년 동안 급격한 발전을 거듭하며 인공지능 일반화(AGI, Artificial General Intelligence)의 목표에 한 발 더 다가가고 있습니다. 특히, 대규모 언어 모델(LLM, Large Language Models)은 복잡한 수학 문제 풀이, 코드 작성, 과학적 추론과 같은 영역에서 이전보다 훨씬 정교한 성능을 보여주고 있습니다. 그동안 대부분의 LLM 개선은 지도 학습(supervised fine-tuning, SFT)에 의존하여 이루어졌습니다. 그러나 이러한 방식은 대규모의 고품질 데이터가 필수적이므로 데이터 준비에 막대한 시간과 비용이 소요됩니다. 최근 연구는 강화 학습(Reinforcement Learning, RL)을 통해 LLM이 스스로 ..

요즘 우리가 쓰는 챗봇이나 번역기 같은 AI는 대규모 언어 모델(LLM)이라는 기술을 활용해 작동합니다. 하지만 이 모델들은 이미 학습된 고정된 학습 결과물을 바탕으로 작동하기 때문에 새로운 주제나 문제가 주어질 때 쉽게 적응하지 못합니다. 만약 새로운 태스크나 데이터 도메인에 적응하도록 만들려면 높은 비용의 재학습 과정이 필요하죠. 이러한 한계를 극복하기 위해, 연구자들은 더욱 효율적이고 유연한 적응 가능성을 탐구하고 있습니다. Transformer2라는 기술은 이러한 문제를 해결하기 위해 고안되었습니다. 이 기술은 기존 모델을 다시 학습시키지 않고도 새로운 문제에 적응할 수 있는 '자가조정(Self-adaptive)' 기능을 가지고 있어 실시간으로 새로운 태스크에 적응할 수 있는 프레임워크를 제공합니..

1. 가성비 있는 영상 제작도구의 필요성 이미지나 영상을 만들어 주는 생성형 AI 기술의 발전은 최근 영상 제작의 판도를 바꾸고 있습니다. 이런 생성형 AI 모델들 가운데 가장 최근에 공개되고 있는 영상 생성 모델들 일부는 텍스트 프롬프트 입력 하나로 멋진 영상을 자동으로 제작해주기도 합니다. 하지만 이런 접근에는 한계가 있습니다. 모든 요소를 인공지능이 완벽하게 처리하려면 높은 계산 비용과 많은 처리 시간이 필요하기 때문입니다.  유튜브, 틱톡, 인스타그램의 숏폼 콘텐츠는 전 세계에서 폭발적으로 성장 중입니다. 이런 흐름 속에서 영상 제작은 더 이상 전문가들만의 전유물이 아니게 되었죠. 물론 특별한 도구를 사용하지 않고 스마트폰 앱만 가지고도 훌륭한 성과를 내는 분들이 많이 있긴 합니다. 이 목적으로 ..

1.서론1.2.기존 LLM의 문제점 ChatGPT와 같은 기존 대형 언어 모델(LLM) 추론은 텍스트 생성 등의 작업에서 모든 레이어를 거치면서 순차적 계산을 합니다. 당연히 처리 속도가 느리고 많은 메모리가 필요하게 되며 일반 컴퓨터에서는 효율적이지 않습니다. 특히 모바일 기기나 엣지 디바이스 등에서 실행하기에는 무리가 있죠. 기존의 속도를 높이기 위한 방법으로 다른 방식들도 초안 기본 모델과 검증 모델 두개를 사용해 예측하기 위해 복잡한 구현물과 많은 메모리 사용이 역시 문제였습니다.  1.2.LayerSkipLayerSkip은 Meta에서 공개한, 대형 언어 모델의 추론 속도를 높이기 위해 레이어를 건너뛰는 기법과 자가 추론 방식을 결합하여 연산 비용을 줄이면서도 정확도를 유지할 수 있습니다. 그리..

대규모 언어 모델(LLM)이 스스로의 행동을 이해하고 예측할 수 있는 능력, 즉 '내적성찰(Introspection)'에 대해 실험적 연구 결과가 공개되었습니다. 즉, '내가 이런 질문을 받으면 어떤 대답을 할까?' 같은 질문에 스스로 답할 수 있는지를 실험한 것이죠. 저자 목록을 보면 Truthful AI, Scale AI, Anthropic, Eleos AI, UC Bekeley 등 다양한 학교와 기업에 속한 분들이 참여한 공동 연구 결과입니다.   보통 LLM은 훈련된 데이터를 바탕으로 답하다보니, 그 데이터의 범위를 넘어서는 질문이 나올 경우 성능이 떨어지고 환각(Hallucination)을 발생시키기 마련입니다. 이번 연구에서는 모델들이 그 범위를 넘어서 자기 행동에 대한 정보를 스스로 활용할 ..

텍스트로 음악을 이해하고 생성하는 오픈소스 LLM 모델 ChatMusician는 음악을 생성하는 오픈소스 LLM 모델입니다.  여기에는 LLaMA2가 적용되어 있으며 음악의 텍스트 호환 음악 표현, ABC 표기법 등을 사전 훈련하고 미세조정을 거쳤습니다. 일반적으로 음악이라고 하면 아... 당연히 멀티모달 방식이겠구나 하실 수도 있는데 ChatMusian의 경우에는 순수하게 텍스트 토크나이저로 음악을 이해하고 생성합니다. 게다가 텍스트, 코드, 멜로디, 모티브, 음악 형식 등을 조건으로 구조화된 음악을 구성할 수 있다고 하네요. 사전 훈련에 사용한 코퍼스 데이터는 MusicPie 것인데, 훈련 데이터 대부분이 아일랜드 음악 스타일이라고 하며 형식도 아직은 엄격히 정의된 형식과 폐쇄형 지침만 지원되는 제약..

LLM과 같은 복잡한 AI 모델들은 내부적으로 어떻게 작동하는지 이해하기 어렵고 그러다보니 예전부터 블랙박스라고 불려 왔습니다. 질문에 대한 답이 어떤 방식으로 도출되었는지를 정확히 설명할 수 없다는 것은 그 답을 신뢰할 수 있는가 하는가 하는 논의로 이어집니다. 최근 발표된 구글의 Gemini 최신 버전에서도 생뚱맞은 답변들을 하는 바람에 논란이 된 바 있죠. 이 문제 때문에 '설명 가능한 인공지능 (XAI: eXplainable AI)'이라는 분야가 화두가 되기도 했습니다. 이 와중에 앤트로픽은 Claude 3 Sonnet 모델에 대해 LLM 내부의 대략적인 개념 상태를 매핑하는 것을 성공했다고 발표했습니다. 즉, LLM 내부의 작동 방식을 개략적으로 이해할 수 있게 되었다는 것이죠. 뿐만 아니라 이..