AI 탐구노트

국기 모양을 보고 나라 이름 맞추기를 하는 간단한 프로그램을 만들어 볼까 합니다.아이와 같이 놀 수 있는 장난감을 만드는거죠. 예상되는 과정은 다음과 같습니다. 1.국가 별 국기 이미지 및 국가명 수집 국가코드를 파일명으로 가진 svg, png 타입의 파일이 필요합니다.직접 그릴 수는 없으니 만들어진 것 가운데 저작권 등 문제가 없는 것을 찾아보려고 합니다. 2.국가코드로 국가명 매칭하는 코드 작성예를 들어 br.svg 파일은 브라질의 국기이고, ch.svg는 스위스의 국기입니다.국기를 보여주고 국가명을 맞추는 것이니 국가명이 한국어와 영어로 매핑되도록 테이블을 생성해야 합니다. 3.퀴즈 프로그램 작성 복잡하지 않게 웹 페이지 하나로 만들어서 바로 사용할 수 있도록 할 계획입니다.    1.국가 별 국기..

불편함 저는 크롬을 이용해 구글 메일과 캘린더, Docs 등을 사용하는 경우가 많습니다.그런데 이들은 개별 페이지를 가지고 있긴 합니다.하지만 우분투에서는 앱이 아니기 때문에 브라우저의 북마크와 같은 바로가기가 기본적으로는 제공되지 않습니다. 그래서, 우분투 실행 시 side에 있는 Dock에 구글 캘린더로 연결되는 바로가기를 만들어 보려고 합니다.   바로가기 파일(*.desktop) 생성# 저장할 폴더로 이동$ cd ~/.local/share/applications/# 파일 작성$ vi google-calendar.desktop  파일 내용은 다음과 같이 합니다. Exec 내용을 보면 크롬 브라우저를 이용해 캘린더 사이트를 직접 여는 것입니다. 내용 자체는 직관적이어서 어려움이 없습니다. [Deskt..

동영상의 개체를 추상적으로 표현(스케치로)하는 최적화 기반 프레임워크  SketchVideo는 SVG 형식의 스케치 비디오를 생성해 영상 속의 개체를 추상적으로 표현하는 최적화 기반 프레임워크입니다.   일반적으로 생성형 AI를 이용해서 하는 작업을 생각해 보면, 손으로 그린 스케치를 입력으로 하고 이를 기반으로 이미지나 영상을 생성하는 것이 떠오를 겁니다. 하지만 완전히 반대되는 작업이 필요한 경우도 있겠죠. 즉, 영상에서 스케치를 생성해내는 그런 작업 말입니다. 예전에 소개된 스케치 생성 모델들의 경우, 대상이 이미지 to 스케치인 경우가 대부분이었습니다. 비디오 영상을 대상으로 하기에는 프레임 간 일관성을 보장해야하고 시간적 불안정성도 해결해야 하고 영상 전체를 꿰뚫는 추상적 표현도 생성해야 하는 ..

개인 컴퓨터에서 무료로 Office를 사용하려고 할 때 사용할 수 있는 소프트웨어인 Kingsoft의 WPS Office를 소개합니다.제 경우는 우분투 리눅스에서 손쉽게 사용할 수 있는 Office 프로그램을 찾다가 알게 된 것인데, 아마도 이 소프트웨어를 알고 계시는 분도 상당히 많을 것 같긴 합니다.  왜 굳이, MS Office를 두고? 우분투와 같은 리눅스 사용자들은 예전부터 MS Office를 대체할 소프트웨어가 필요했습니다.Mac쪽이야 Keynotes 같은 것이 있어서 문제가 없었지만 리눅스 쪽은 데스크탑 용 어플리케이션 쪽이 강하진 않았거든요.예전 리눅스를 생각하면 GUI 쪽 보다는 터미널 창이 먼저 떠 오르는 것이 그 때문입니다.  여튼... MS Office의 대체안으로는 다음과 같은 것..

URL 내용을 크롤링해서 LLM을 위한 마크다운 또는 구조화된 데이터로 변환하는 API 서비스 Firecrawl은 웹 사이트 URL 상의 내용을 크롤링해서 정돈된 마크다운 형태나 LLM에 적합한 구조화된 데이터로 변환해 주는 서비스입니다.  인터넷 상에는 엄청나게 많은 데이터들이 있습니다. AI 모델 초기에는 잘 만들어진 데이터셋이 없었기 때문에, 클롤링을 통한 데이터 수집이 기본이었고, 최근 나오는 많은 수의 LLM 들도 이런 인터넷 스케일 데이터를 크롤러를 통해 수집해서 모델 학습에 활용하는 것으로 알려져 있습니다.  그런데 문제는 웹데이터 자체는 깔끔하고 정돈되어 있지 않은 경우가 많다는 것입니다. HTML, Javascript 등 데이터가 아닌 화면 렌더링을 위한 문서 구조를 가지고 있고, 수많은..

이전 글에서는 아두이노에 조이스틱을 연결해서 움직임 값을 시리얼 모니터로 확인해 봤습니다.서보모터 2개의 연결은 아래 이전 글을 참고하시면 됩니다. [DIY 테스트] - 아두이노 : 조이스틱으로 서보모터 조종하기 - 1편  이번에는 조이스틱을 조종해 서보모터를 동작시키는 것을 해볼 생각입니다. 이를 위해 다음과 같은 작업을 진행합니다. Python으로 pyfirmata 패키지를 이용해 아두이노를 컨트롤합니다.조이스틱 움직임을 읽어와서 이를 이용해 다시 서보모터를 조종하도록 합니다. Python 코드 생성코딩은 ChatGPT한테 시켰는데 아주 잘 만들어 줍니다. ^^; 주문사항은 아두이노, 서보모터, 조이스틱이 각각 어떻게 매핑되어 있고 조이스틱을 누르면 중지/재시작을 수행해라 정도였습니다.후자의 경우는 ..

로컬 LLM을 이용해 문서파일을 업로드한 후 이를 기준으로 대화를 진행할 수 있는 어플리케이션 LARS는 로컬 환경의 LLM(Large Language Models)으로 사용자 문서 기반으로 정확한 응답을 생성하는 오픈소스 응용 어플리케이션입니다.  로컬 환경에서 LLM을 구동하고, 로컬에서 사용자 문서를 업로드한 뒤 로컬 LLM이 업로드한 콘텐츠로 응답을 근거로 하는 대화를 진행할 수 있습니다. 기존 LLM의 '환각 현상'으로 인한 문제를 해결하기 위해, LARS는 RAG(Retrieval Augmented Generation) 기술을 사용하여 사용자의 업로드 문서에서 인용 및 페이지 번호를 포함한 자세한 참고 자료를 제공합니다.  이를 통해 LLM의 응답 정확도와 답변 신뢰성이 증가하고, 문서 기반 ..

2D 이미지 모델의 성능을 향상시키기 위해 3D 정보에 기반한 미세조정 기법  FiT3D는 2D 비전 모델의 성능을 향상시키기 위해 3D 정보를 활용한 미세 조정 기법입니다. 대부분의 2D 비전 모델은 순수하게 2D 이미지 데이터로 학습되며 이로 인해 물체와 장면의 3D 구조를 제대로 이해하지 못합니다.즉, 다양한 각도에서 찍힌 이미지들 사이에서 공통된 정보를 잘 찾아내기 어렵고, 한 장의 이미지로는 물체나 장면의 정확한 모양을 파악하기 힘든 경우가 많죠.   FiT3D 기법에서는, 먼저 2D 이미지 특징을 3D Gaussian 표현으로 변환해, 여러 뷰에서 일관된 3D 특징을 학습한 후, 이 3D 인지 특징을 활용하여 2D 비전 모델을 미세 조정(fine-tuning)합니다. 이렇게 생성된 3D 인지 ..

재미난 것 발견! 작년 쯤에 유튜브를 보다가 재미난 장난감을 만든 분의 영상과 코드(깃헙)을 발견했습니다.   서보모터를 이용해 Pan-Tilt를 할 수 있는 장비를 만들고 (실제 알리에서 판매하고 있음),카메라 영상에서 인공지능 안면감지를 이용해 얼굴, 특히 미간을 트래킹하도록 한 것입니다. 영상을 보면 아무리 피해도 이 스나이퍼는 놓치질 않습니다.  비슷한 영상을 유튜브 상에서 많이 볼 수 있는데 이 경우처럼 단순 트래킹하고 트래킹된 지점을 화면 상에 표시하는 것 외에 아이들 장난감을 이용해 발사하는 것까지 구현해 둔 사례도 있죠.  어디에 써먹을 수 있나? 실제로 이런 기술이 적용된 사례는 많습니다.홈 카메라나 화상회의 카메라에 화자의 얼굴을 따라가면 비춰주는 사례도 있고 (상용화된 제품도 있음),..

불편함 최근에 우분투를 사용하면서, 몇 가지 테스트를 위해 USB를 이용해 외부 장치를 연결해야 했습니다. 아두이노나 스마트폰을 USB로 우분투 PC에 연결해서 각각의 장치를 컨트롤 하는 것을 테스트하고 있었기 때문이죠.그런데... 아두이노나 안드로이드 스마트폰을 연결할 경우, 끊어졌다 다시 연결을 재시도하는 현상이 자주 발생하는 겁니다. 이 현상에 대해서는 dmesg 로그 상에서 확인할 수 있었습니다. 예를 들어 아래 명령으로 연결 후 끊어지고 다시 연결을 시도하는 시점의 로그를 확인할 수 있습니다. # 스마트폰 쪽은 usb, 아두이노 연결은 tty$ sudo dmesg -w | grep usb또는$ sudo dmesg -w | grep tty 결과는 tty, usb의 경우 내용이 약간 다르지만... ..