AI 탐구노트

1. 서론포인트 트래킹(point tracking)은 영상 분석 분야에서 중요한 역할을 담당하며, 특히 3D 재구성 및 비디오 편집 같은 작업에서 정확한 포인트 간의 대응 관계를 복구하는 데 사용됩니다. 최근에는 트랜스포머 기반 설계가 도입되어 포인트 트래킹 모델의 정확도가 크게 향상되었습니다. 하지만 대부분의 최신 모델은 합성 데이터를 주로 학습에 사용하며, 이는 실제 비디오 데이터와의 통계적 차이로 인해 성능 저하를 초래할 수 있습니다. 이 논문에서 소개된 CoTracker3 모델은 간단한 아키텍처와 반지도 학습(semi-supervised learning)을 활용하여 기존 모델보다 더 적은 데이터로도 높은 성능을 달성할 수 있음을 보여줍니다. 특히, CoTracker3는 기존 모델에서 필요하다고 여..

1. 서론인공지능의 발전은 텍스트-이미지 생성 분야에서 혁신적인 변화를 가져오고 있습니다. 현재 가장 많이 사용되는 접근법 중 하나인 확산 모델(Diffusion Models)은 고품질의 이미지를 생성할 수 있지만, 생성 속도가 느리다는 한계를 가지고 있습니다. 이를 보완하기 위해 연구자들은 다양한 모델 구조와 학습 방법론을 제안해왔습니다. 이 중에서도 'Scale-Wise' 접근 방식은 이미지의 해상도를 점진적으로 예측하는 특성 덕분에 효율성과 품질을 동시에 잡을 수 있는 잠재력을 보여주고 있습니다. SWITTI는 이러한 스케일-와이즈 접근을 기반으로 한 트랜스포머 모델로, 텍스트-이미지 생성에서 기존 모델 대비 효율성과 품질에서 더 나은 결과를 제공합니다. 특히, SWITTI는 비인과적(non-cau..

1. 서론사람이 어디를 보고 있는지를 추적하는 기술은 우리가 주변 세계와 상호작용하는 방식을 이해하는 데 중요한 역할을 합니다. 예를 들어, 대화 중 상대방의 시선 방향은 그들이 관심을 가지고 있는 대상을 파악하거나 의도를 추측하는 데 도움을 줍니다. 이런 기술은 특히 인간-컴퓨터 상호작용, 자율주행, 로봇 비전, 혹은 광고 효과 분석 등 다양한 분야에서 응용될 수 있습니다. 과거에는 시선 방향을 추적하기 위해 여러 종류의 데이터를 분석하고 조합하는 복잡한 시스템이 주로 사용되었습니다. 하지만 이러한 방식은 개발이 어렵고 많은 비용이 들며, 데이터가 부족한 환경에서는 정확도가 떨어지는 한계가 있었습니다. 최근에는 대규모 데이터를 바탕으로 학습된 인공지능 모델들이 여러 시각적 문제를 해결하는 데 매우 좋은..

1. 서론앞서 다른 글에서도 언급한 것처럼 현대 디지털 디자인에서 벡터 그래픽은 스케일 조정의 유연성으로 인해 광범위하게 사용됩니다. 벡터 그래픽은 크기를 조정할 때 품질 손실이 없다는 점에서 레스터 이미지보다 뛰어난 장점을 가지고 있죠. 하지만, 대부분의 인공지능 연구는 레스터 이미지 생성에 집중되어 있으며, 벡터 그래픽을 학습하거나 생성하려는 노력은 상대적으로 부족했습니다. 이러한 한계를 극복하기 위해 DeepSVG라는 새로운 접근이 제시되었습니다. DeepSVG는 SVG(Scalable Vector Graphics) 형식의 복잡한 벡터 그래픽을 생성하고 애니메이션을 지원하는 계층적 생성 네트워크입니다. 이 모델은 벡터 그래픽 데이터를 효율적으로 표현할 수 있는 계층적 구조를 활용하여 복잡한 아이콘을..

1. 서론 자동화된 필기체 이미지 생성은 글씨체가 제각각인 텍스트를 효과적으로 생성하는 기술로, 개인의 글씨체를 모방하거나, 특정 스타일로 메모를 작성하는 데 유용하며 필기체 인식 기술을 개선하거나, 텍스트 데이터를 추가적으로 수집할 수 있는 도구로 활용될 수 있습니다. 수년 전부터 스타일과 내용을 모두 고려하는 생성적 적대 신경망(GAN)이 많이 사용되고 있지만, 기존 접근법은 스타일과 내용의 긴밀한 연결을 확보하지 못하거나, 로컬 글씨체 패턴을 제대로 표현하지 못하는 문제가 있었습니다. 이에 대응하기 위해 트랜스포머 기반의 새로운 필기체 생성 기술인 HWT(Handwriting Transformers)이 제안되었습니다. HWT는 스타일-내용 얽힘(style-content entanglement)을 글..

OmniGen? OmniGen은 텍스트-이미지 생성 외에도 이미지 편집, 주제 기반 생성, 시각적 조건부 생성 등의 작업을 한 번에 처리할 수 있는 통합 이미지 생성모델입니다. 보통 이미지 생성 모델은 특정 작업만 할 수 있어서, 이미지 편집이나 텍스트를 바탕으로 그림을 그릴 때 각각 다른 모델을 사용해야 했죠. 하지만 OmniGen은 하나의 모델로 다양한 작업들을 처리할 수 있습니다. 3.8B의 매개변수를 가지는 상대적으로 작은 모델이지만 높은 성능을 보입니다. 게다가 MIT 라이선스로 공개되어 있다는 장점도 있습니다.   지원하는 기능은?OmniGen은 아래와 같이 다양한 기능을 제공합니다.  텍스트-이미지 생성 : 텍스트 설명에 따라 이미지를 생성. 주어진 텍스트 조건을 기반으로 다양한 스타일과 내..

단일 트랜스포머 모델로 텍스트, 이미지, 영상을 처리할 수 있는 모델 Emu3는 이미지, 텍스트, 비디오를 토큰화하여 단일 트랜스포머 모델로 차세대 멀티모달 생성 및 인식 작업에서 최고 성능을 달성한 모델입니다.    이전 멀티모달 모델들은 이미지나 비디오를 처리할 때 여러가지 다른 기술을 함께 사용해야 했습니다. 예로 Diffusion 모델들은 복잡한 과정이 필요했고 CLIP 같은 모델은 이미지에 대한 이해를 위해 또 다른 LLM과의 연결이 필요했습니다. 그러다보니 모델의 설계가 복잡해지고 각각의 작업에 최적화된 모듈을 별도로 만들어야 하는 불편함이 있었고 사용하기 어렵고 확장도 힘들었습니다.  Emu3는 이미지, 텍스트, 비디오를 모두 토큰화하여 단일 트랜스포머를 사용한 차세대 토큰 예측을 기반으로 ..