AI 탐구노트

PC에 내장 GPU (Intel Internal)과 외장 GPU (NVIDIA) 이렇게  둘 다 있는 경우, 우분투 기본 윈도우 화면 지원은 Intel 내장 GPU를 사용하고, 외장 GPU는 딥러닝 전용으로 사용하는 방법을 알아봅니다. 이렇게 하는 것은 저렴한 GPU를 사용할 경우, GPU 메모리 자체가 작기 때문에, GUI 처리를 위해 사용되는 것을 최소화하는 것이 필요하기 때문입니다.  인터넷으로 찾아본 것과 ChatGPT에게 물어봐서 답변 받은 것 2가지를 각각 기록해 둡니다.예전 조사 당시의 기억으론 둘 다 작동했던 것 같은데...  흠...  1.xorg.conf 변경 방식# /etc/X11/xorg.conf 파일 생성 - 우분투는 기본은 생성되지 않음$ sudo nvidia-xconfig $..

CLASI (Cross Language Agent - Simultaneous Interpretation)는 대규모 언어 모델(LLM)을 활용한 동시 음성 번역 시스템입니다. 사람, 즉 동시통역사가 번역하는 수준의 품질을 목표로 합니다. '동시'+'통역' 영역이라 번역의 정확성과 지연 시간 둘 다 혹은 이들 간의 균형을 잡기 위해 다양한 기법을 사용하고 있습니다. 구조적으로는 LLM을 기반으로 한 인코더-조건부 아키텍처로, 음성 입력을 처리하고 외부 지식 및 이전 번역 문맥을 활용하여 번역을 생성합니다.  이 시스템은 다음과 같은 특징을 가지고 있습니다. 데이터 기반 읽기-쓰기 전략전문통역사의 문장 분할 방식을 학습하여 번역 품질과 지연 시간 간의 균형을 유지합니다.다중 모달 검색 모듈(MM-RAG)어려운..

SF3D는 Stability AI가 공개한 단일 이미지에서 고품질의 3D 메쉬를 빠르고 안정적으로 생성하는 기법입니다. 이 기술이 소개된 사이트 상에는 마치 자동판매기처럼 입력된 이미지에 맞는 텍스처가 입혀진 3D 모델을 순식간에 찍어내는 기계 영상이 나오는데 이 기법을 단번에 이해할 수 있게 해 줍니다.  기존의 방식에서는 3D 메쉬 생성 시, 이미지 속의 조명과 그림자가 생성되는 3D 모델의 텍스처에 그대로 포함되는 바람에 다른 조명 환경에 놓였을 때도 기존 것이 그대로 남아 있어 부자연스러울 수 밖에 없는 문제가 있었습니다. 그리고, 고정된 버텍스 색상을 사용해 텍스처를 표현하다보니 높은 폴리곤 수로 인해 메모리 사용량이 증가하고 성능이 저하되는 문제도 있었습니다. 이 외에도 계단 현상(Marchi..

TAPTR(Tracking Any Point with TRansformer)은 비디오의 모든 점을 트랜스포머를 사용하여 효율적으로 추적하는 프레임워크입니다. 기존의 Optical Flow 추정 방식은 두 연속된 프레임 간의 상관 관계를 추적할 수 있도록 했지만, 장기적인 시간 정보를 처리하지 못해 추적 대상이 가려지거나 하는 경우에 이를 제대로 처리하지 못하는 문제가 있었습니다. 뿐만 아니라, 기존 방법들은 서로 다른 프레임의 추적 점들의 정보가 서로 교환되지 않기 때문에 같은 객체에 속한 점들 간에도 상관관계가 무시되는 한계가 있었습니다.  TAPTR은 이런 문제를 DETR(Detection Transformer) 모델에서 영감을 받아, 각 비디오 프레임의 각 추적점을 포지션과 콘텐츠로 나눠 쿼리로 표..

FLUX.1은 독일 스타트업 Black Forest Labs가 발표한 이미지 생성 모델입니다. 이미지 생성 AI 가운데 잘 알려져 있는 Stable Diffusion이나 심지어 Midjourney를 능가하는 성능을 보였다고 해서 주목 받고 있습니다. 현재 버전은 이미지만 만들 수 있지만, 향후에는 비디오 생성까지 기능을 확장할 계획이라고 합니다.근데... 독일 AI 스타트업을 소개하는 것은 처음인 것 같죠? 실제 Black Forest Labs은 Stable Diffusion을 만든 이들이 참여했다고 알려져 있습니다. 어쩐지 잘 한다 했지!!! Flux.1 은 다음의 3가지 타입으로 공개되어 있습니다. Flux.1 Pro : 최상위 모델로 개발사의 API로만 사용할 수 있으며 유료Flux.1 Dev : ..

탈중앙화 AI로 개인 정보 보호 강화알체라는 최근 고스트패스와 협력하여 온디바이스 AI를 활용한 탈중앙화 신원증명 사업을 시작했습니다. 이 기술은 사용자가 자신의 스마트폰에서 안면 정보를 직접 관리하여 중앙 서버 해킹 위험을 줄이고 개인 정보 보호를 강화합니다. 이 방식은 최근 AI 규제법에 대응하며, 얼굴 특징점을 이용한 인증 기술로 금융 및 보안 분야에서 활용되고 있습니다. 사용자 편의성을 위해 간단한 셀피로 인증이 가능하며, 한 번의 등록으로 여러 서비스에서 통합 사용이 가능합니다. (E4DS) 셀바스AI, 온디바이스 AI TTS 서비스 시작셀바스AI가 온디바이스 AI 기반 음성합성 솔루션 'Selvy deepTTS On-Device'를 밀리의서재에 도입하여 상용화했습니다. 이 기술은 스마트폰 내에..

KAIST 박종세 교수팀은 자율주행차와 로봇에 적합한 신경망처리장치(NPU)와 소프트웨어 시스템을 개발하여, 한정된 자원에서도 온디바이스 AI의 정확도를 높이는 성과를 냈으며 이 연구로 국제 컴퓨터 구조 심포지엄(ISCA)에서 최우수 연구 기록물상을 수상했습니다. 온디바이스 AI는 연산과 메모리 자원이 제한적이기 때문에 정확도가 떨어지는 문제가 있었지만, 연구팀은 연속학습 기법을 통해 이를 개선했습니다. 연구팀은 온디바이스 자원만으로 변화하는 환경에 맞춰 AI 모델의 정확도를 높이는 저전력·고효율 시스템을 개발했습니다.  NPU를 공간적으로 분할하여 연산량이 낮은 추론에 자원을 최소로 할당하고, 나머지 자원을 재훈련과 라벨링에 활용함으로써 연속학습 성능을 향상시켰습니다. 연구팀은 실제 차량 데이터를 활용..

Windows에서 Linux를 사용하기 위해서는 WSL(Windows Subsystem for Linux) 을 이용해야 합니다.최근에는 초기보다 훨씬 안정화되어 생각보다 손쉽게 구성할 수 있고 기능 또한 잘 작동합니다.  다만, 본체가 되는 Windows에서 손쉽게 사용하던 USB 카메라 등을 WSL 상의 Linux에서는 제대로 인식시켜 사용하기 어렵다는 문제가 있습니다. 이것을 Windows와 WSL 간의 가상 네트워크를 이용해 USB 연결을 지원하는 방법이 있는데 그때 사용되는 것이 USB/IP 인데 Windows와 WSL 상의 Linux에서 각각 이를 지원해야 합니다. 각각의 도구를 설치하고 연결하는 과정을 정리해 보고자 합니다.   참고로 제가 테스트한 환경은 다음과 같으며 Windows Cons..

일론 머스크는 뉴럴링크의 두 번째로 인간에게 뉴럴링크의 칩을 이식하는 임플란트 수술이 성공적으로 마무리되었다고 밝혔습니다. 렉스 프리드먼과의 팟캐스트 인터뷰를 통해 소개된 이 내용은 실은 몇 개월 전부터 예정되어 있는 것으로 보도되었던 사항입니다. 이 수술은 척수 손상을 입은 마비 환자가 대상이었고 400개의 전극을 뇌에 이식하는 방식으로 진행되었다고 합니다. ‘텔레파시’로 불리는 뉴럴링크의 칩은 뇌파을 수집할 수 있는 총 1024개의 전극을 가지며, 대뇌의 운동피질 근처에 구멍을 내고 심게 되는데 이 칩이 읽은 신호를 해석해서 기기를 조작할 수 있는 동작으로 바꿔주는 역할을 하게 됩니다.  이보다 앞선 올해 1월 29일, 첫번째 진행된 임상수술이 있었죠. 대상은 다이빙을 하다가 불의의 사로고 전신마비가..

Anaconda를 이용해 CUDA, cuDNN가 지원되는 가상환경을 만드는 과정은 다음과 같습니다.간소화된 버전이라 이후 필요한 python 패키지들에 대해서는 각자 준비하는 것으로... CUDA 12.4에 cuDNN은 최신 버전, Python은 3.11로 맞추며, Anaconda는 이미 설치되어 있다고 가정합니다.   NVIDIA driver 설치다만 CUDA를 설치하기 위해서는 해당 버전을 지원하는 Nvidia driver가 미리 설치되어 있어야 합니다. 지원하는 CUDA 버전을 확인하는 방법은 다음과 같습니다. (오른 쪽 상단 확인. 12.4 버전까지 지원한다는 의미) $ nvidia-smi CUDA  설치 (12.4 버전)$ wget https://developer.download.nvidia.c..