AI 탐구노트

이전 글에서는 아두이노에 조이스틱을 연결해서 움직임 값을 시리얼 모니터로 확인해 봤습니다.서보모터 2개의 연결은 아래 이전 글을 참고하시면 됩니다. [DIY 테스트] - 아두이노 : 조이스틱으로 서보모터 조종하기 - 1편  이번에는 조이스틱을 조종해 서보모터를 동작시키는 것을 해볼 생각입니다. 이를 위해 다음과 같은 작업을 진행합니다. Python으로 pyfirmata 패키지를 이용해 아두이노를 컨트롤합니다.조이스틱 움직임을 읽어와서 이를 이용해 다시 서보모터를 조종하도록 합니다. Python 코드 생성코딩은 ChatGPT한테 시켰는데 아주 잘 만들어 줍니다. ^^; 주문사항은 아두이노, 서보모터, 조이스틱이 각각 어떻게 매핑되어 있고 조이스틱을 누르면 중지/재시작을 수행해라 정도였습니다.후자의 경우는 ..

로컬 LLM을 이용해 문서파일을 업로드한 후 이를 기준으로 대화를 진행할 수 있는 어플리케이션 LARS는 로컬 환경의 LLM(Large Language Models)으로 사용자 문서 기반으로 정확한 응답을 생성하는 오픈소스 응용 어플리케이션입니다.  로컬 환경에서 LLM을 구동하고, 로컬에서 사용자 문서를 업로드한 뒤 로컬 LLM이 업로드한 콘텐츠로 응답을 근거로 하는 대화를 진행할 수 있습니다. 기존 LLM의 '환각 현상'으로 인한 문제를 해결하기 위해, LARS는 RAG(Retrieval Augmented Generation) 기술을 사용하여 사용자의 업로드 문서에서 인용 및 페이지 번호를 포함한 자세한 참고 자료를 제공합니다.  이를 통해 LLM의 응답 정확도와 답변 신뢰성이 증가하고, 문서 기반 ..

2D 이미지 모델의 성능을 향상시키기 위해 3D 정보에 기반한 미세조정 기법  FiT3D는 2D 비전 모델의 성능을 향상시키기 위해 3D 정보를 활용한 미세 조정 기법입니다. 대부분의 2D 비전 모델은 순수하게 2D 이미지 데이터로 학습되며 이로 인해 물체와 장면의 3D 구조를 제대로 이해하지 못합니다.즉, 다양한 각도에서 찍힌 이미지들 사이에서 공통된 정보를 잘 찾아내기 어렵고, 한 장의 이미지로는 물체나 장면의 정확한 모양을 파악하기 힘든 경우가 많죠.   FiT3D 기법에서는, 먼저 2D 이미지 특징을 3D Gaussian 표현으로 변환해, 여러 뷰에서 일관된 3D 특징을 학습한 후, 이 3D 인지 특징을 활용하여 2D 비전 모델을 미세 조정(fine-tuning)합니다. 이렇게 생성된 3D 인지 ..

재미난 것 발견! 작년 쯤에 유튜브를 보다가 재미난 장난감을 만든 분의 영상과 코드(깃헙)을 발견했습니다.   서보모터를 이용해 Pan-Tilt를 할 수 있는 장비를 만들고 (실제 알리에서 판매하고 있음),카메라 영상에서 인공지능 안면감지를 이용해 얼굴, 특히 미간을 트래킹하도록 한 것입니다. 영상을 보면 아무리 피해도 이 스나이퍼는 놓치질 않습니다.  비슷한 영상을 유튜브 상에서 많이 볼 수 있는데 이 경우처럼 단순 트래킹하고 트래킹된 지점을 화면 상에 표시하는 것 외에 아이들 장난감을 이용해 발사하는 것까지 구현해 둔 사례도 있죠.  어디에 써먹을 수 있나? 실제로 이런 기술이 적용된 사례는 많습니다.홈 카메라나 화상회의 카메라에 화자의 얼굴을 따라가면 비춰주는 사례도 있고 (상용화된 제품도 있음),..

불편함 최근에 우분투를 사용하면서, 몇 가지 테스트를 위해 USB를 이용해 외부 장치를 연결해야 했습니다. 아두이노나 스마트폰을 USB로 우분투 PC에 연결해서 각각의 장치를 컨트롤 하는 것을 테스트하고 있었기 때문이죠.그런데... 아두이노나 안드로이드 스마트폰을 연결할 경우, 끊어졌다 다시 연결을 재시도하는 현상이 자주 발생하는 겁니다. 이 현상에 대해서는 dmesg 로그 상에서 확인할 수 있었습니다. 예를 들어 아래 명령으로 연결 후 끊어지고 다시 연결을 시도하는 시점의 로그를 확인할 수 있습니다. # 스마트폰 쪽은 usb, 아두이노 연결은 tty$ sudo dmesg -w | grep usb또는$ sudo dmesg -w | grep tty 결과는 tty, usb의 경우 내용이 약간 다르지만... ..

최근 아두이노를 이용해서 서보모터 컨트롤하는 것을 해 보고 있습니다. 카메라 영상 입력을 받아서 이를 AI로 분석하고 이에 따라 서보를 동작시키는 것을 하는 것이 목적이죠.하지만, 그 전에 간단한 수동 조작도 해 보고 싶었습니다.그래서, 알리에서 서보모터 주문할 때 덤으로 조이스틱 모듈도 함께 주문해 봤습니다.  이런 제품이었죠. 가격은 1500 수준인 것 같습니다. 작동은 잘 합니다. ^^      아두이노, 조이스틱 연결 이번에 할 것은 아두이노와 조이스틱 모듈 간의 테스트이기 때문에 연결은 정말 간단합니다. 5V, GND는 기본으로 연결하면 되니, VRX(X축), VRY(Y축), SW(On/Off 스위치 역할?)만 봐주면 되기 때문이죠.VRX와 VRY는 아날로그 핀에 A0, A1에, SW는 Digi..

불편함 최근 우분투 PC에 스마트폰, 아두이노 등을 연결해야 하는 상황이 계속 생겼습니다.그런데 매번 연결 시 마다 /dev/ttyUSB0, /dev/ttyUSB1 등 계속해서 이름이 변경되는 바람에 번거로웠습니다. OpenCV로 webcam 연결할 때 /dev/video0를 매번 써 왔었는데 그때는 당연한 듯 썼었는데, 이제서야 불편함을 느낀다는게... 이렇게 연결되는 장치의 연결순서에 따라 번호가 매겨지는 방식을 쓰는 것은 한편으로 보면 간편할 수도 있습니다.연결 장치의 이름을 별도로 확인할 필요가 없기 때문이죠. 하지만, 프로그램에서 어떤 기기가 연결되는지를 확인하고 진행해야 하는 경우에는 문제가 될 수 있습니다. 그래서, 자주 사용하는 장비를 이름을 원하는대로 지정해서 사용하기로 했습니다.  해결..

AppImage는 리눅스에서 어플리케이션을 손쉽게 사용할 수 있도록 한개의 파일 안에 필요한 모듈을 다 포함한 SW 패키징입니다.윈도우로 따지면 exe 파일인 셈인데 부가적으로 필요한 dll 같은 것들이 이 속에 다 포함되어 있다고 보시면 됩니다. 다른 것 고려없이 이 파일만 받아서 사용하면 되므로 사용은 아주 편리합니다. 문제점문제는 AppImage은 Installer 등을 이용해서 설치되는 것이 아니다보니 데스크탑 어플리케이션 목록에 보이지 않는다는 겁니다. 어플리케이션 검색에서도 나오지 않아, 매번 해당 파일이 있는 위치로 가서 실행을 시켜야 한다는 불편함이 있습니다.  해결책이 문제는 손쉽게 해결할 수 있습니다.아래 예는 Arduino IDE를 등록하는 걸 보여 드립니다.   방법1. 정식 방식 ..

서울, K-콘텐츠 촬영지에 AI 다국어 해설 현판 설치서울시는 K-콘텐츠 촬영지 30곳에 AI 기반의 다국어 해설을 제공하는 '소울 스팟' 현판을 설치하여 국내외 관광객을 위한 관광 서비스를 확대했습니다. (뉴스1) '짬뽕 인공지능'으로 AI 스타트업의 생존 전략 모색AI 스타트업이 '죽음의 계곡'을 넘기 위해 수익 모델을 찾아야 하는데, 이때 다양한 기술을 결합한 '짬뽕 인공지능(복합 AI)'이 중요한 전략이 될 수 있다는 진단이 있습니다. (조선일보) 웹툰과 AI의 만남, 광주의 미래먹거리로 떠오르다광주광역시가 웹툰과 인공지능(AI)을 결합한 문화산업 육성을 통해 새로운 성장동력을 모색하고 있으며 AI 기술을 통해 웹툰 제작의 효율성을 극대화하고 창작자들의 부담을 줄여 제작의 진입장벽을 낮춰 다양한 ..

불편 사항 Mac에서 파일명을 한글로 저장하고 이를 윈도우나 리눅스 등에 보냈을 때 파일명이 깨지는 현상이 발생합니다.주로 디자인 작업을 의뢰하고 결과물을 받았을 때 많이 겪게 되는 일이죠.   문제의 원인  이 문제는 두 OS에서 사용하는 한글 처리 방식의 차이로 인한 것입니다.즉, 윈도우의 경우 완성형을 기본으로 하고, Mac의 경우는 조합형을 사용하기 때문이죠.  해결 방안 가장 간단한 해결 방안은 파일명에 한글을 사용하지 않는 것입니다.그 외에 OS 자체에서 제공하는 해결방안은 아직은 찾지 못했습니다. 대신 김남호 님이 개발한 자소 분리 복구프로그램(깃헙 링크)을 사용하는 방법이 있습니다. 다음은 해당 프로그램의 사용 예시를 보인 것입니다.  이 문서들은 공공기관 쪽에서 받은 것인데 아무래도 PD..