AI 탐구노트

인공지능이 생성하는 이미지는 놀라운 품질과 세밀함을 보여주고 있습니다. 특히 확산 모델(diffusion model)의 등장 이후, 원하는 스타일이나 구체적인 특징을 반영한 이미지 생성이 가능해졌습니다. 하지만 실제로 사용자가 '이 사람은 이 스타일로', '이 배경은 이 인물과 함께' 같은 복잡한 조건을 동시에 만족시키려 할 때는 여전히 많은 제약이 따랐습니다. 기존 기술들은 보통 하나의 특성(예: 얼굴, 옷, 스타일 등)에만 초점을 맞췄기 때문입니다. 이런 한계를 넘어, 여러 조건을 한 번에 만족하는 이미지를 만들어낼 수 있도록 돕는 새로운 방법이 등장했습니다. 바로 ByteDance와 북경대학교 연구팀이 제안한 'DreamO'입니다. DreamO는 하나의 모델 안에서 다양한 조건(인물, 스타일, 배경..

1. 서론영상 콘텐츠는 오늘날의 디지털 환경에서 광고, 교육, 엔터테인먼트와 같은 다양한 분야에 걸쳐 중요한 역할을 하고 있습니다. 특히 텍스트를 입력으로 사용해 동영상을 만드는 기술은 복잡한 영상 편집 없이도 창의적인 결과물을 얻을 수 있는 혁신적인 방법으로 환영받고 있죠. 얼마 전까지만 해도 전문가의 영역이라고 여겨지던 분야가 이제는 학생들도 약간의 창의성과 프롬프트만으로 영상을 만들어내는 일반인의 영역이 되고 있습니다. 그것도 아주아주 빨리! 하지만 여기에는 중요한 제약이 있습니다. 현재 대부분의 모델은 투명한 효과(예: 유리나 연기처럼 배경이 보이는 효과)를 처리할 수 없습니다. 투명도를 처리하려면 RGBA라는 특별한 비디오 형식이 필요합니다. 여기서 A는 "알파 채널"을 뜻하며, 이 채널이 투명..

1. 서론디지털 애니메이션 기술은 예술가와 개발자 모두에게 더 많은 창의적 자유를 제공하면서 발전을 거듭해왔습니다. 그 중에서도, 간단한 손그림이나 스케치를 활용한 애니메이션은 그 직관성과 유연성 덕분에 주목받고 있습니다. 달리 말해 심플한 이미지 때문에 전달하는 메시지가 간결하고 보기도 편하다는 말이죠. 잘 아시다시피 기존 애니메이션 제작 과정은 여전히 많은 시간과 전문성을 요구합니다. 전통적인 기법에서는 애니메이션의 주요 장면을 그린 후, 중간 프레임을 일일이 제작해야 하며, 이를 자동화하는 기존 솔루션들 또한 복잡한 제약 조건이 따랐습니다. 예전에 지브리 스튜디오에서 제작하는 과정을 다큐 영상으로 본 적이 있었는데, 이탈리아 명품 장인과는 결이 좀 다르겠지만 '한땀한땀' 이라는 말이 딱 어울리는 장..

1. 서론 디지털 콘텐츠 제작의 발전은 오늘날 영화, 광고, 게임 등 다양한 분야에서 영상의 중요성을 크게 증대시켰습니다. 특히, 카메라 움직임과 같은 요소는 시청자의 몰입도를 높이는 데 중요한 역할을 합니다. 그러나 기존의 영상 제작 방식에서는 사용자가 원하는 카메라 움직임을 자유롭게 구현하기 어려운 한계가 있습니다. 이를 극복하기 위해 생성적 인공지능 기술이 도입되면서 사용자의 요구에 맞춘 영상 편집이 가능해졌습니다. 최근에는 사용자 제공 영상에서 새로운 시각적 효과를 생성하는 연구가 주목받고 있습니다. 하지만, 이 과정에서 기존 영상에 없는 새로운 시점을 생성하는 일은 기술적 도전 과제를 안고 있습니다. 이러한 문제를 해결하기 위해, Google과 싱가포르국립대학교의 연구팀은 ReCapture라는 ..

1. 서론컴퓨터 비전 및 그래픽스의 발전은 현실감 있는 3D 및 4D 콘텐츠 생성에 핵심적인 역할을 합니다. 하지만 대규모 3D 및 4D 비디오 데이터셋의 부족은 단일 이미지로부터 고품질의 3D/4D 장면을 생성하는 데 주요한 한계를 초래합니다. 이 문제를 해결하기 위해 비디오 확산 모델이 등장하여 공간적, 시간적 요소를 활용한 생성 능력을 보여주고 있습니다. 최근 연구들은 비디오 확산 모델을 활용하여 정적 또는 동적 메쉬 렌더링에서 객체 수준의 콘텐츠를 생성하거나, 장면 수준에서의 점진적인 최적화를 시도하고 있습니다. 하지만 이들 방식은 공간적 및 시간적 요소를 개별적으로 제어하지 못해, 일관된 3D 및 4D 장면을 생성하는 데 한계를 가집니다. DimensionX는 이러한 문제를 해결하고자 단일 이미..

지난 번에 ComfyUI를 설치해서 Flux.1 Schnell을 돌려봤습니다.  Flux.1 설치 및 테스트이미지 생성 모델하면 떠 오르는 것들이 있을 겁니다. 최근에는 워낙 많이 생겨서 다 나열하기 힘들지만 그래도 떠오르는 이름 말입니다. Stable Diffusion, DALL-E, MidJourney, Flux.1 그 가운데 하나가 B42morrow.tistory.com  그러다보니 ComfyUI라는 것을 어떻게 써먹을 수 있는지 좀 더 알아봐야겠다는 생각이 들었습니다. 검색을 해 보니 Stable Diffusion과 같이 공개 모델을 이용하는 사람들 가운데 LoRA를 적용해서 개인적으로 사용하는 분들이 많다는 것을 알게 됐고, ComfyUI에도 이것을 활용할 수 있다고 합니다. 그래서, 이번 시간..

GS-VTON은 2D 가상 착용 기술을 3D로 확장해, 여러 각도에서 옷을 자연스럽게 입어볼 수 있게 해주는 기술입니다. 옷이나 안경, 액서사리와 같은 제품들은 디자인이나 기능적인 측면 외에도, 이를 입거나 갖췄을 때 '나한테 얼마나 어울리는가' 하는 것이 아주 중요한 구매 포인트가 됩니다. 그래서, 제품 구입 전에 입거나 걸쳐보는 등의 과정을 거치는 경우가 많습니다. 그런데, 만약 구입을 온라인에서 하게 된다면? 아니면 오프라인이라도 입고 걸쳐보고 싶은 것이 많은데 제품마다 갈아입어보기가 어렵거나 귀찮은 경우가 있다면? 아마도 많은 분들이 온라인에서 옷을 구매하면 마음에 들지 않아 반품을 해 보신 경험이 있을 겁니다. 오프라인에서는  눈치가 보여서라도 많은 옷을 입어보지 못하는 경우가 있을테구요. 이럴..