AI 탐구노트

이전 글에서는 아두이노에 조이스틱을 연결해서 움직임 값을 시리얼 모니터로 확인해 봤습니다.서보모터 2개의 연결은 아래 이전 글을 참고하시면 됩니다. [DIY 테스트] - 아두이노 : 조이스틱으로 서보모터 조종하기 - 1편  이번에는 조이스틱을 조종해 서보모터를 동작시키는 것을 해볼 생각입니다. 이를 위해 다음과 같은 작업을 진행합니다. Python으로 pyfirmata 패키지를 이용해 아두이노를 컨트롤합니다.조이스틱 움직임을 읽어와서 이를 이용해 다시 서보모터를 조종하도록 합니다. Python 코드 생성코딩은 ChatGPT한테 시켰는데 아주 잘 만들어 줍니다. ^^; 주문사항은 아두이노, 서보모터, 조이스틱이 각각 어떻게 매핑되어 있고 조이스틱을 누르면 중지/재시작을 수행해라 정도였습니다.후자의 경우는 ..

로컬 LLM을 이용해 문서파일을 업로드한 후 이를 기준으로 대화를 진행할 수 있는 어플리케이션 LARS는 로컬 환경의 LLM(Large Language Models)으로 사용자 문서 기반으로 정확한 응답을 생성하는 오픈소스 응용 어플리케이션입니다.  로컬 환경에서 LLM을 구동하고, 로컬에서 사용자 문서를 업로드한 뒤 로컬 LLM이 업로드한 콘텐츠로 응답을 근거로 하는 대화를 진행할 수 있습니다. 기존 LLM의 '환각 현상'으로 인한 문제를 해결하기 위해, LARS는 RAG(Retrieval Augmented Generation) 기술을 사용하여 사용자의 업로드 문서에서 인용 및 페이지 번호를 포함한 자세한 참고 자료를 제공합니다.  이를 통해 LLM의 응답 정확도와 답변 신뢰성이 증가하고, 문서 기반 ..

2D 이미지 모델의 성능을 향상시키기 위해 3D 정보에 기반한 미세조정 기법  FiT3D는 2D 비전 모델의 성능을 향상시키기 위해 3D 정보를 활용한 미세 조정 기법입니다. 대부분의 2D 비전 모델은 순수하게 2D 이미지 데이터로 학습되며 이로 인해 물체와 장면의 3D 구조를 제대로 이해하지 못합니다.즉, 다양한 각도에서 찍힌 이미지들 사이에서 공통된 정보를 잘 찾아내기 어렵고, 한 장의 이미지로는 물체나 장면의 정확한 모양을 파악하기 힘든 경우가 많죠.   FiT3D 기법에서는, 먼저 2D 이미지 특징을 3D Gaussian 표현으로 변환해, 여러 뷰에서 일관된 3D 특징을 학습한 후, 이 3D 인지 특징을 활용하여 2D 비전 모델을 미세 조정(fine-tuning)합니다. 이렇게 생성된 3D 인지 ..