AI 탐구노트

최근 AI 기술이 빠르게 발전하면서 우리의 일상에 깊숙이 스며들고 있습니다. 하지만 그만큼 AI 서비스의 신뢰성에 대한 우려도 커지고 있습니다. 특히, 잘못된 정보로 인해 AI가 부정확한 답변을 제공하는 사례가 늘어나고 있는데요. 이러한 문제를 어떻게 해결할 수 있을지 함께 생각해보겠습니다. '가비지 인, 가비지 아웃'의 교훈컴퓨터 과학 분야에서 자주 언급되는 격언 중 하나가 바로 '가비지 인, 가비지 아웃(Garbage In, Garbage Out)'입니다. 이는 입력 데이터의 품질이 낮으면 출력 결과도 신뢰할 수 없다는 의미인데요. AI도 마찬가지입니다. AI는 방대한 데이터를 학습하여 세상을 이해하고 판단합니다. 따라서 학습 단계에서부터 올바른 데이터를 제공하는 것이 무엇보다 중요합니다. AI 챗봇..

디지털 문서의 핵심 정보는 PDF, Word, DjVu 등 다양한 포맷에 담겨 있습니다. 하지만 이러한 문서들은 본래의 레이아웃을 유지하는 데 초점이 맞춰져 있어 텍스트를 쉽게 추출하고 가공하는 것이 어렵습니다. 특히, PDF 파일은 단순한 텍스트 파일이 아니라 단어와 글자를 개별적인 그래픽 요소로 저장하며, 문서 내 논리적 순서를 따르지 않는 경우가 많습니다. 이러한 문제를 해결하기 위해 기존에는 광학 문자 인식(OCR, Optical Character Recognition) 기술이 사용되었습니다. 1950년대부터 연구되어 온 OCR 기술은 2006년 구글의 Tesseract 같은 오픈소스 툴을 통해 많은 발전을 이루었지만, 여전히 문서 내의 논리적 순서를 완전히 보존하기 어려운 문제가 남아 있었습니다..

Alibaba 그룹의 Tongyi Lab에서 Wan 2.1이라는 텍스트와 이미지 등의 입력을 기반으로 비디오를 생성할 수 있는 고급 영상 생성 모델을 오픈소스로 공개했습니다. 이번 글에서는 이 모델에 대해 간략하게 알아보도록 하겠습니다. Wan 2.1Wan2.1은 다양한 영상 생성 작업을 지원하는 오픈소스 비디오 생성 모델들의 모음입니다.Text-to-Video, Image-to-Video, Video 편집, Text-to-Image, Video-to-Audio 등 여러 작업을 하나의 모델 패밀리로 수행할 수 있습니다.중국어, 영어 텍스트를 영상 속에 직접 생성해낼 수 있어 실용성이 높습니다.Wan-VAE라는 뛰어난 영상 전용 VAE(Variational Autoencoder)를 사용하여, 1080P 해..

인공지능(AI) 언어 모델이 발전하면서, 자연어 처리(NLP)에서의 활용 범위가 확장되고 있습니다. 일반적으로 생성형 언어 모델(Generative Language Model, GLM)은 Autoregressive 방식으로 토큰을 하나씩 생성하며 출력을 구성합니다. 하지만 일부 과제에서는 모델이 여러 개의 후보 중에서 적절한 정답을 선택하는 능력이 요구됩니다. 예를 들어, 선택형 질문 답변(MCQA), 극한 라벨 분류(extreme label classification), 의료 진단 등의 작업에서는 사전 정의된 후보군에서 최적의 답변을 골라야 합니다. 전통적인 방식은 전체 문장을 생성한 후, 후보군과 비교하여 가장 적합한 정답을 선택하는 것입니다. 하지만 이 방식은 시간이 오래 걸리고, 모델이 점진적으로..