AI 탐구노트

대규모 언어모델(LLM)은 방대한 데이터를 학습하고, 질문에 답하거나 글을 생성할 수 있습니다. 그러나 이 모델이 모든 지식을 다 기억하는 것은 불가능하기 때문에, 검색을 통해 외부 지식을 불러와 활용하는 방식이 널리 사용되고 있습니다. 이를 검색 기반 생성(RAG: Retrieval-Augmented Generation) 이라고 부르죠. 예를 들어, 질문을 받으면 먼저 관련 문서를 찾아오고, 그 문서를 바탕으로 답변을 생성하는 식입니다.하지만 이런 방식에는 큰 문제가 있습니다. 검색을 통해 가져온 문서가 많아질수록 모델이 처리해야 하는 입력의 길이가 길어지고, 그만큼 계산 속도가 느려집니다. 특히 답변의 첫 단어를 출력하기까지 걸리는 시간이 매우 길어지는데, 이는 사용자 경험에 직접적인 불편을 줍니다...

최근 인공지능 기술, 특히 LLM의 발전은 자연어 처리(NLP)와 다양한 AI 분야에 혁신적인 변화를 가져오고 있습니다. 이 모델들은 문서 요약, 코드 생성, 질의응답 시스템 등 광범위한 응용에 활용되고 있습니다. 특히 대규모 데이터를 한 번에 이해하고 처리할 수 있는 능력은 중요한 성능 지표로 자리 잡았습니다. 그러나 LLM이 한 번에 다룰 수 있는 입력 길이(컨텍스트 윈도우)는 여전히 제한적이며, 이를 극복하려는 시도가 활발히 진행되고 있습니다.최근 업계는 모델의 컨텍스트 윈도우 크기를 확장하는 데 많은 노력을 기울이고 있습니다. GPT-4, Claude-3, Gemini-Pro 등은 최대 1백만 토큰까지 확장할 수 있다고 주장하지만, 실제 성능은 기대에 못 미치는 경우가 많습니다. 또한 윈도우 크기..

MarkItDown은 Microsoft에서 개발한 오픈소스 Python 라이브러리 및 CLI(커맨드 라인 인터페이스) 도구로, 다양한 파일 형식을 Markdown 형식으로 변환하는 데 사용됩니다.이 도구는 PDF, Word, Excel, PowerPoint, HTML, 이미지, 오디오 등 다양한 파일 형식을 처리하여 텍스트 분석, LLM 학습, 또는 인덱싱과 같은 작업에 적합한 Markdown 출력을 생성합니다. 2024년 말 공개 이후 단 2주 만에 GitHub에서 25,000개 이상의 스타를 획득하며 큰 인기를 끌었습니다. MIT 라이선스 하에 배포되며, 확장 가능한 플러그인 아키텍처를 지원합니다. 게다가 MIT 라이선스를 따르고 있어 자유로운 사용, 수정이 가능합니다. 주요 특징 MarkItDo..

Grok, 어떤 AI인가요?Grok은 일론 머스크가 설립한 xAI에서 개발한 인공지능 챗봇으로, 기존의 ChatGPT나 Gemini와는 다른 독특한 성격을 지니고 있습니다. 'grok'이라는 단어 자체는 로버트 A.하인리히(미국)의 SF 소설 '낯선 땅 이방인'에서 화성인이 사용한 말에서 유래한 속어로 이는 '완전히 이해하다'라는 의미를 담고 있다고 합니다. 머스크는 Grok을 '최대한 진실을 추구하는 AI'로 정의하며, 정치적 올바름(political correctness)에 얽매이지 않고 자유롭게 발언할 수 있는 AI를 목표로 삼았습니다. 이는 기존의 AI들이 민감한 주제에 대해 회피하거나 제한된 답변을 제공하는 것과는 대조적입니다. Grok의 대표적인 특징을 열거해 보면 다음과 같습니다. 검열 없..