AI 탐구노트

깊이 추정 모델 가운데 경량 기기에서 사용할만한 괜찮은 녀석이 나왔습니다. Jetson 언급이 나와서 오호 이 정도의 엣지장비에서 잘 돌아간다면 쓸만할 것 같다고 생각되었습니다. 그런데 Jetson Orin은 저도 써본 적이 없고, 과거의 Jetson Nano보다는 훨씬 성능이 높다고 알려진 장비라 어쩌면 그렇게 경량은 아닐수도 있겠다 싶긴 합니다. 이번 글에서는 DepthART에 대해 정리해보고 넘어가겠습니다. 1. 개요DepthART(Depth Anything Rethought for Tiny Models)는 단일 RGB 이미지로부터 장면의 깊이(Depth)를 추정하는 경량 AI 모델입니다. 최근 공개된 모델 가운데 Depth Anything V2라는 것이 있는데 그 모델의 성능을 작은 크기의 모..

음악 오디오를 분석하고 이를 최종적으로 악보로 만들어 플레이할 수 있도록 하는 서비스를 만들어 보고 싶었습니다. 그런데... 혹시나 있겠지 싶어서 먼저 찾아봤죠. 그랬더니 역시나 요건이 똑같은 녀석이 하나 있었습니다. 바로 'Oh Sheet'라는 도구입니다. 이번 글에서는 이 도구에 대해 짧게 정리해 보겠습니다. 1. 개요Oh Sheet!는 음악 파일이나 YouTube 영상을 분석해 자동으로 악보를 생성하는 오픈소스 AI 프로젝트입니다. 입력으로 mp3, wav, midi 뿐만 아니라 Youtube URL 을 받아서 악보 (MusicXML, MIDI, PDF 형식)을 만들어 주죠. 한마디로 절대음감처럼 듣고 이 곡의 피아노 악보는 이거야 하면서 제시해 준다고 보면 됩니다. 2. 기능 및 특징음원 자..

원격지에서 작업을 하다보면 가끔씩 이렇게 접속해야 하는 경우가 있습니다. 장비 A --(ssh)--> 장비 B --(ssh)--> 장비 C 예를 들어 장비 C가 접근 권한을 B에게만 허용하도록 되어 있는 경우 (예: 방화벽 설정)에 해당되죠. 이럴 때 한번에 접근할 수 있도록 커맨드를 간소화하는 방법이 있는데 중간에 ProxyJump (-J) 옵션을 사용하는 것입니다. ssh -J userB@장비B userC@장비C 만약 서이것을 좀 더 편하게 하려면 ~/.ssh/config 파일을 다음과 같이 수정합니다. Host jump HostName 123.123.123.123 # 장비B User userB Port 22Host target HostName 192.168.0.100..

1. 개요EngStudy는 Youtube에 공개된 TED 영상을 이용해 영어 공부를 할 수 있는 로컬 데스크톱 앱입니다. YouTube 영상의 음성을 학습 자료로 변환하고, 자막을 읽기 좋은 문단으로 구성하고, 영상 재생 위치에 맞춰 현재 문단과 문장, 단어를 강조합니다. 사용자는 문단별 번역을 작성하고 권장 번역과 단어 정보를 확인하며 학습 진행 상황을 계속 관리할 수 있습니다.학습 데이터와 AI 처리는 가능한 한 사용자 컴퓨터 안에서 이루어집니다. 번역 및 단어 설명은 로컬 Ollama 모델을 사용하고, 사용자 번역, 학습 이력, 북마크, 재생 위치는 SQLite에 저장합니다. 2. 기능YouTube URL에서 영어 자막과 영상 제목 불러오기SRT, VTT, TXT 자막 파일 불러오기 -> 또는 Wh..

멀티모니터 사용 시 모니터 스크린에 표시되는 내용을 실시간으로 업데이트하면서 한곳에서 볼 수 있는 툴을 만들어 봤습니다. 1. MonitorPIP멀티모니터를 사용하는 경우, 사용자는 당연이 모든 모니터의 화면을 눈으로 볼 수 있습니다.그런데 만약... 한 모니터를 내가 보는 방향이 아닌 반대 방향으로 돌려놓고 사용해야 한다면 어떨까요?예를 들어 데모를 보여줘야 하는데 그 결과가 바로 앞에 서있는 사람들을 향하게 해야 한다면 말이죠. 어플리케이션이 동작하고 있을텐데 두번째 모니터의 화면에 뭐가 떴는지 확인할 수 없어서 불안하거나 하지 않을까요?계속 반복되는 영상 파일을 실행시켜놨다하더라도 우연히 멈춰있다거나 종료되거나 혹은 나도 모르는 사이에 OS에서 뭔가 알림창을 띄운다던가 하는 상황도 발생할 수 있죠..

OnlyOffice를 사용할 때 AI Tools 기능을 활성화해서 Chat이나 문서 생성, 수정 등의 작업을 AI의 도움을 받으며 진행할 수 있습니다. 이번 글에서는 간단하게 설정하는 방법만 정리해 두고 가겠습니다. 1. OnlyOffice 실행 OnlyOffice 실행 시 AI Tools 활성화/연동을 선택하고 설치하면 아래 그림과 같이 'AI 채팅' 부분이 추가됩니다. 2.Ollama & 모델 선택 'Chat'을 선택 후 사용할 AI 모델을 설정합니다. 제공자 : Ollama 선택 (다른 로컬 엔진을 사용 중이면 그것에 맞춰 선택하면 됨) Ollama를 선택하면 자동으로 정보가 채워지고, 로컬에 설치된 모델 목록을 보여줍니다. 만약 'connection error' 와 같은 문구가 나오면O..

대규모 GPU 서버에서 AI 모델을 실행하는 것이 일반적이었지만, 최근에는 스마트폰이나 개인용 PC에서도 직접 AI를 구동하려는 움직임이 활발하게 전개되고 있습니다. 특히 개인정보 보호와 응답 지연 감소를 목표로 '온디바이스 AI(On-device AI)'가 주목받고 있죠. 그러나 대형언어모델(LLM)이 최소 수십억 개 이상의 매개변수를 사용하게 되면서, 모델은 더 많은 메모리와 연산 자원이 필요로 하게 되었고, 제한된 하드웨어 환경에서는 동작시키지 어렵다는 문제가 생겼습니다. 이러한 문제를 해결하는 대표적인 기술이 '양자화(Quantization)'입니다. (단, 양자화가 온디바이스만을 위한 것은 아님) 양자화는 AI 모델의 숫자를 더 적은 비트로 표현해 메모리 사용량을 줄이는 기술입니다. 예를 ..

1. 개요 Paradee는 텍스트를 자연스러운 영어 음성으로 변환하는 초경량 TTS(Text-to-Speech) AI 모델입니다. Sahil Mahendrakar라는 분이 Kokoro-82M 를 기반으로 지식증류와 모델 경량화, 양자화 등을 적용했다고 합니다. CPU 단일 스레드에서도 잘 동작한다는 특징이 있습니다. 로컬, 엣지 장비 등에 적용하기 딱 좋아 보이는 모델이라고 할 수 있죠. 2. 주요 성능모델 파라미터 : 7.88MINT8 모델 크기 : 8.5MB (ONNX 기준)음성 생성 속도 : 실시간 대비 62배 (CPU 1 thread)음성 자연스러움 척도 (UTMOS) : 4.39/5 (원본인 Kokoro는 4.52로 이보다는 약간 낮음) 3. 기술적 특징지식증류 (Knowledge Disti..

인공지능은 이제 단순히 질문에 답하거나 글을 작성하는 수준을 넘어, 연구자가 수행하던 복잡한 작업까지 대신하기 시작했습니다. 관련 논문을 조사하고, 새로운 아이디어를 제안하며, 실험 코드를 작성하고 결과를 분석하는 'AI Scientist' 기술이 대표적입니다. 최근에는 여러 AI 에이전트들이 각자의 전문적인 역할을 나누어 협업하면서 연구 과정 전반을 자동화하려는 시도들이 등장하고 있습니다.하지만, 논문에서 중요한 역할을 하는 기술 아키텍처나 방법론 다이어그램은 단순히 보기 좋은 그림을 만드는 것과는 다릅니다. 복잡한 기술의 구조와 데이터 흐름을 정확하게 표현하면서도 독자가 쉽게 이해할 수 있도록 구성해야 하기 때문이죠. 기존의 코드 기반 그래픽 생성 기술은 표현에 제약이 있었고, 이미지 생성 AI는 시..

평소 개인용 게임을 만들 때 마땅한 효과음을 구하기 힘들었던 적이 많았습니다. 대부분은 FreeSound.org 사이트를 이용했는데 거기서 원하는 것을 찾고, 라이선스 사용에 문제가 없는 것을 필터링하고 다운받은 오디오를 부분 편집하는 과정을 거쳐왔던거죠. 그런데 이렇게 해도 마음에 쏙 드는 경우는 드물었습니다. 그래서 예전에도 오디오 효과 생성 AI들을 많이 기웃거렸었죠. 최근 X에서 저의 마음을 알았는지 알고리즘이 한 솔루션을 소개해 주었습니다. Audio Studio MCP라는 것입니다. 1. 개요Audio Studio MCP는 자연어 명령으로 배경음악(BGM), 악기 연주, 효과음(SFX)을 생성하고 편집할 수 있는 오픈소스 AI 오디오 제작 솔루션입니다. Stability AI의 Stable ..