AI 탐구노트

대규모 GPU 서버에서 AI 모델을 실행하는 것이 일반적이었지만, 최근에는 스마트폰이나 개인용 PC에서도 직접 AI를 구동하려는 움직임이 활발하게 전개되고 있습니다. 특히 개인정보 보호와 응답 지연 감소를 목표로 '온디바이스 AI(On-device AI)'가 주목받고 있죠. 그러나 대형언어모델(LLM)이 최소 수십억 개 이상의 매개변수를 사용하게 되면서, 모델은 더 많은 메모리와 연산 자원이 필요로 하게 되었고, 제한된 하드웨어 환경에서는 동작시키지 어렵다는 문제가 생겼습니다. 이러한 문제를 해결하는 대표적인 기술이 '양자화(Quantization)'입니다. (단, 양자화가 온디바이스만을 위한 것은 아님) 양자화는 AI 모델의 숫자를 더 적은 비트로 표현해 메모리 사용량을 줄이는 기술입니다. 예를 ..

1. 개요 Paradee는 텍스트를 자연스러운 영어 음성으로 변환하는 초경량 TTS(Text-to-Speech) AI 모델입니다. Sahil Mahendrakar라는 분이 Kokoro-82M 를 기반으로 지식증류와 모델 경량화, 양자화 등을 적용했다고 합니다. CPU 단일 스레드에서도 잘 동작한다는 특징이 있습니다. 로컬, 엣지 장비 등에 적용하기 딱 좋아 보이는 모델이라고 할 수 있죠. 2. 주요 성능모델 파라미터 : 7.88MINT8 모델 크기 : 8.5MB (ONNX 기준)음성 생성 속도 : 실시간 대비 62배 (CPU 1 thread)음성 자연스러움 척도 (UTMOS) : 4.39/5 (원본인 Kokoro는 4.52로 이보다는 약간 낮음) 3. 기술적 특징지식증류 (Knowledge Disti..

인공지능은 이제 단순히 질문에 답하거나 글을 작성하는 수준을 넘어, 연구자가 수행하던 복잡한 작업까지 대신하기 시작했습니다. 관련 논문을 조사하고, 새로운 아이디어를 제안하며, 실험 코드를 작성하고 결과를 분석하는 'AI Scientist' 기술이 대표적입니다. 최근에는 여러 AI 에이전트들이 각자의 전문적인 역할을 나누어 협업하면서 연구 과정 전반을 자동화하려는 시도들이 등장하고 있습니다.하지만, 논문에서 중요한 역할을 하는 기술 아키텍처나 방법론 다이어그램은 단순히 보기 좋은 그림을 만드는 것과는 다릅니다. 복잡한 기술의 구조와 데이터 흐름을 정확하게 표현하면서도 독자가 쉽게 이해할 수 있도록 구성해야 하기 때문이죠. 기존의 코드 기반 그래픽 생성 기술은 표현에 제약이 있었고, 이미지 생성 AI는 시..

평소 개인용 게임을 만들 때 마땅한 효과음을 구하기 힘들었던 적이 많았습니다. 대부분은 FreeSound.org 사이트를 이용했는데 거기서 원하는 것을 찾고, 라이선스 사용에 문제가 없는 것을 필터링하고 다운받은 오디오를 부분 편집하는 과정을 거쳐왔던거죠. 그런데 이렇게 해도 마음에 쏙 드는 경우는 드물었습니다. 그래서 예전에도 오디오 효과 생성 AI들을 많이 기웃거렸었죠. 최근 X에서 저의 마음을 알았는지 알고리즘이 한 솔루션을 소개해 주었습니다. Audio Studio MCP라는 것입니다. 1. 개요Audio Studio MCP는 자연어 명령으로 배경음악(BGM), 악기 연주, 효과음(SFX)을 생성하고 편집할 수 있는 오픈소스 AI 오디오 제작 솔루션입니다. Stability AI의 Stable ..

최근 음성 전사 앱과 이미지 서치를 만드느라 Embedding Gemma를 이용한 적이 있었습니다. 그러다보니 지금은 괜찮은데 저장해야 할 임베딩의 수량이 엄청 많다면 어떻게 해야 할까를 생각하게 됐죠. 그런데 역시나... 누군가 이미 그것을 먼저 고민했고 이미 해결책까지 마련해 두었더군요. 이번 글에서는 Embedded Gemma 2에서 나온 결과 데이터를 압축해서 저장하는 사례를 요약 정리해 보고 가겠습니다. How Small Can Google's New EmbeddingGemma 2 Get? - QdrantGoogle's EmbeddingGemma 2 in Qdrant: 99% of retrieval quality in 30x less vector RAM, or 94.5% in 77x less..

로컬 컴퓨터에서 사용할 수 있는 사진 검색 앱을 만들어 봤습니다. 제 경우, 지금이야 생활에 찌들려 그럴 겨를이 없지만, 예전에는 여러 곳을 여행하며 사진 찍길 즐겼습니다. 그러다보니 자연스레 사진 파일이 많이 저장되어 있었죠. 하지만, 구글 Photo 같은 자동 분류, 검색앱을 사용하지 않다보니 거의 대부분 여행 날짜 별 폴더에 그대로 파일로만 저장되어 있을 뿐이었습니다. 가끔 생각나면 폴더를 열어가며 사진을 찾아보곤 했구요. 그리고 생각해보니 한번은 식물, 동물, 경치 사진을 사진 라이브러리를 제공하는 온라인 서비스에서 판매하기 위해 등록하려고 수많은 이미지 파일들을 하나씩 뒤진 적이 있긴 하네요. 그때도 자동 분류가 안 되어 참 많이 힘들었었습니다. ^^; 오늘은 그때의 불편함을 해소하기 위해..

오늘 오후 (미국은 밤이죠), 미국 텍사스주 맥그레거의 스페이스X 시험장에서 진행된 테슬라 로드스터 자동차 발표를 라이브로 봤습니다. 이 차는 워낙 오래 전부터 개발된다는 얘기는 있었지만 실제 계속 연기되었었고, 최근 일론이 하늘을 날 수도 있다는 식으로 말을 흘리기도 했었는데 헛소리 아니냐며 사람들은 폄하했었습니다. 약간 뻥이 있고 약속을 못 지키는 이미지를 가지고 있기 때문이겠죠. 그렇지만 일론을 좋아하는 사람들은 거꾸로 이번에는 어떤 괴물까 하며 기대를 했을 겁니다. 제 경우, 일론의 팬이면서 몇 주 안 가진 주주이기도 해서 안 볼 수가 없었습니다. 사실 테슬라가 신제품 발표를 하고나면 뭔가 아쉬운 것들이 남아서인지 늘 주가가 떨어지곤 했었기에 걱정도 앞섰습니다) 그런데... 이번에는 정말 보면..

Bend 2.0은 빠른 병렬 실행과 수학적 검증을 결합해, AI가 코드를 작성하더라도 개발자가 정의한 핵심 규칙을 지키도록 설계된 차세대 프로그래밍 언어입니다. 이번 글에서는 Bend 2.0에 대해 사이트에 공개된 내용을 기반으로 짧게 요약 정리해 두고 가겠습니다. 1. 개요Bend는 Python처럼 간결하게 작성하면서 C 수준의 실행 성능, CUDA 수준의 병렬 처리, Lean과 유사한 수학적 검증 기능을 제공하는 새로운 프로그래밍 언어입니다. 특히 AI가 생성한 코드의 정확성을 수학적으로 검증해, 바이브코딩 시 논리적 오류를 방지할 수 있습니다. 2. 핵심 기술 특징AI 코드 검증 : AI가 작성한 코드가 사전에 정의한 규칙을 만족하는지 수학적으로 증명자동 병렬 처리 : 스레드/락/CUDA 커널..

간단한 CCTV AI 관제앱을 만들어보고 있습니다. 이를 테스트하기 위해 IP 카메라가 필요한데 가진 것이 없어서 공개 IP 카메라를 이용하거나 혹은 원하는 영상이 있는 Youtube를 입력으로 테스트하고 있죠. 그런데 매번 이런 과정을 거치는 게 귀찮기도 해서 아예 Youtube 영상을 RTP/RTSP로 변환하는 파이프라인을 하나 만들기로 했습니다. (참고: 대부분의 IP 기반 CCTV들이 RTSP 프로토콜을 이용해 영상/오디오 스트림을 IP 네트워크를 통해 전송합니다) 이번 글에서는 그 과정을 간단히 정리해 보겠습니다. 1. 개요Youtube 영상을 내부 처리를 통해 IP 카메라가 하듯 RTSP URL로 전환하도록 하는 파이프라인을 개발하는 것입니다. 2. 사용 기술1) RTSP란? IP 카메라..

1. 개요 2. 게임룰성냥개비 퀴즈를 보고 제시되는 방식(예: 성냥 2개를 옮겨서...)대로 처리한 후 정답이 되도록 만들면 성공하는 게임입니다. 반드시 제시된 숫자만큼의 개수 이동을 해야 합니다. 즉, 2개 옮기는 미션에서 1개만 옮겨서 수식이 완성되어도 정답으로 치지 않습니다. 난이도가 쉬움/보통/어려움/매우 어려움 으로 나뉘어 있으며 각 난이도 별로 수십개의 문제가 있습니다. 화면 상에서 성냥개비를 손가락으로 드래그해서 위치를 옮겨 수식을 완성해야 합니다. 3. 게임 특징예전에 유튜브 영상 생성을 위해 만들어 둔 성냥개비 퀴즈 데이터를 그대로 사용했습니다. 역시 원소스 멀티유즈~!!!CANVAS 상에 성냥개비의 이동 애니메이션이 자연스럽게 구현됩니다. 4. 게임 구현성냥개비 퀴즈 데이터를 미리 생..