AI 탐구노트

StyleGAN의 제약사항을 해결한 새로운 생성 아키텍처 모델 StyleGAN은 베이스가 되는 PGGAN 모델에 Style Transfer 개념을 도입해서 새로운 G(generator) 아키텍처를 만든 것입니다.  이 모델이 처음 발표되었을 때 충격이 상당했습니다. 지금이야 MidJourney나 DALL-E 등 diffusion 계열 생성 모델을 이용해서 실물같은 사진을 만들어내는 것이 다반사가 되었지만, 다양한 특징들이 적용된 실물같은 고화질 안면사진이 쉽게 만들어진다는 것은 당시로는 신기하는 일이었거든요. StyleGANEX은 StyleGAN이 가지는 제약사항을 해결해서 가변크기 이미지를 처리하고, 정열되지 않은 각도의 얼굴 이미지와 비디오에 대한 조작을 지원합니다. StyleGANEX가 지원하는 기..

언어, 이미지, 비디오 등을 엮어 다중모드 프롬프트로 표현하고 학습하여 로봇 팔을 제어할 수 있도록 한 에이전트 일반적으로 로봇(예:협동로봇)에게 작업을 지시하기 위해서는, 사람이 직접 로봇팔 등을 조작하는 것을 모방하도록 학습을 시키거나 언어적으로 지시문을 주고 이를 처리하도록 하거나 혹은 시각적으로 최종 상태를 목표로 제시하여 이를 달성하도록 학습시키는 방식이 사용됩니다. 그런데 이런 것들은 제각각 그 작업을 수행할 수 있도록 하는 전용 모델을 사용하게 되죠. NVIDIA에서 발표한 VIMA는 이렇게 하는 대신 언어, 이미지, 비디오 등을 엮어 다중모드 프롬프트로 표현하고 학습하여 로봇 팔을 제어할 수 있도록 한 에이전트입니다.    참고) 프로젝트, 깃헙, 논문, 영상

3D 데이터로부터 3D 세그멘테이션을 수행하는 모델 SAM2Point는  3D 데이터를 비디오로 변환하여 SAM 2에서 3D 세그멘테이션을 수행하는 모델입니다.  SAM2Point는 3D 데이터를 다양한 방향의 비디오로 해석하여, Segment Anything Model 2 (SAM 2)를 통해 3D 공간에서 훈련 없이도 효과적인 세그멘테이션을 수행하는 모델입니다. 기존 방식에서는 다음과 같은 문제점들이 있었습니다. 비효율적인 2D-3D 투영기존 3D 세그멘테이션 방법들은 3D 데이터를 2D로 변환하여 SAM에 입력한 후, 다시 3D 공간으로 역투영하는 방식이 사용되었으며, 이는 처리 복잡성을 증가시킴3D 공간 정보 손실2D 투영 과정에서 3D 객체의 내부 구조와 같은 세부 공간 정보가 손실되어 정확한 ..

ChatGPT의 코딩 능력을 빌어와 아이와 함께 할 수 있는 프로그램 만들기 유튜브에는 재미난 퀴즈를 소개하는 채널들이 있습니다. 아이와 가끔씩 들여다 보는 편인데 생각보다 재미있어서 보다보면 어느새 몇 개는 훌쩍 지나가 버리고 말죠. 아무래도 제시되는 문제들이 일반적인 것들이어서 나름 나만의 퀴즈를 만들어서 아이와 함께 해 보는 것은 어떨까 생각하게 됐고 그렇게 해 봤습니다.  코딩은 ChatGPT한테 시키고 저는 그걸 옮겨서 실행만 시키는 걸로... ^^;  일단 다음과 같은 프롬프트를 이용했습니다. 퀴즈를 내는 웹 프로그램을 만들텐데 구현하려는 기능은 다음과 같아.단, python 만으로 가능하면 그렇게 해 주고 그렇지 않으면 javascript나 html을 사용해도 좋아. 1.화면은 첨부한 이미지..