AI 탐구노트

SF3D는 Stability AI가 공개한 단일 이미지에서 고품질의 3D 메쉬를 빠르고 안정적으로 생성하는 기법입니다. 이 기술이 소개된 사이트 상에는 마치 자동판매기처럼 입력된 이미지에 맞는 텍스처가 입혀진 3D 모델을 순식간에 찍어내는 기계 영상이 나오는데 이 기법을 단번에 이해할 수 있게 해 줍니다.  기존의 방식에서는 3D 메쉬 생성 시, 이미지 속의 조명과 그림자가 생성되는 3D 모델의 텍스처에 그대로 포함되는 바람에 다른 조명 환경에 놓였을 때도 기존 것이 그대로 남아 있어 부자연스러울 수 밖에 없는 문제가 있었습니다. 그리고, 고정된 버텍스 색상을 사용해 텍스처를 표현하다보니 높은 폴리곤 수로 인해 메모리 사용량이 증가하고 성능이 저하되는 문제도 있었습니다. 이 외에도 계단 현상(Marchi..

TAPTR(Tracking Any Point with TRansformer)은 비디오의 모든 점을 트랜스포머를 사용하여 효율적으로 추적하는 프레임워크입니다. 기존의 Optical Flow 추정 방식은 두 연속된 프레임 간의 상관 관계를 추적할 수 있도록 했지만, 장기적인 시간 정보를 처리하지 못해 추적 대상이 가려지거나 하는 경우에 이를 제대로 처리하지 못하는 문제가 있었습니다. 뿐만 아니라, 기존 방법들은 서로 다른 프레임의 추적 점들의 정보가 서로 교환되지 않기 때문에 같은 객체에 속한 점들 간에도 상관관계가 무시되는 한계가 있었습니다.  TAPTR은 이런 문제를 DETR(Detection Transformer) 모델에서 영감을 받아, 각 비디오 프레임의 각 추적점을 포지션과 콘텐츠로 나눠 쿼리로 표..

FLUX.1은 독일 스타트업 Black Forest Labs가 발표한 이미지 생성 모델입니다. 이미지 생성 AI 가운데 잘 알려져 있는 Stable Diffusion이나 심지어 Midjourney를 능가하는 성능을 보였다고 해서 주목 받고 있습니다. 현재 버전은 이미지만 만들 수 있지만, 향후에는 비디오 생성까지 기능을 확장할 계획이라고 합니다.근데... 독일 AI 스타트업을 소개하는 것은 처음인 것 같죠? 실제 Black Forest Labs은 Stable Diffusion을 만든 이들이 참여했다고 알려져 있습니다. 어쩐지 잘 한다 했지!!! Flux.1 은 다음의 3가지 타입으로 공개되어 있습니다. Flux.1 Pro : 최상위 모델로 개발사의 API로만 사용할 수 있으며 유료Flux.1 Dev : ..