AI 탐구노트

1. 가성비 있는 영상 제작도구의 필요성 이미지나 영상을 만들어 주는 생성형 AI 기술의 발전은 최근 영상 제작의 판도를 바꾸고 있습니다. 이런 생성형 AI 모델들 가운데 가장 최근에 공개되고 있는 영상 생성 모델들 일부는 텍스트 프롬프트 입력 하나로 멋진 영상을 자동으로 제작해주기도 합니다. 하지만 이런 접근에는 한계가 있습니다. 모든 요소를 인공지능이 완벽하게 처리하려면 높은 계산 비용과 많은 처리 시간이 필요하기 때문입니다.  유튜브, 틱톡, 인스타그램의 숏폼 콘텐츠는 전 세계에서 폭발적으로 성장 중입니다. 이런 흐름 속에서 영상 제작은 더 이상 전문가들만의 전유물이 아니게 되었죠. 물론 특별한 도구를 사용하지 않고 스마트폰 앱만 가지고도 훌륭한 성과를 내는 분들이 많이 있긴 합니다. 이 목적으로 ..

사전 훈련된 확산 모델의 해상도와 속도를 높이는 훈련 없는 방법 HiDiffusion은 이미지 생성 프레임워크로 확산 기반의 이미지 생성 모델을 이용해 고해상도 이미지를 생성할 때 객체가 불필요하게 중복해서 나타나거나 생성 시간이 많이 걸리는 문제를 해결하기 위해  제안되었습니다. 기능 맵 크기를 동적으로 조절해 객체 중복 문제를 해결하기 위해 RAU-Net (Resolution-Aware U-Net)을, 고해상도 블록의 self-attention에서 발생하는 높은 연산량을 줄이기 위해 MSW-MSA (Modified Shifted Window Multi-head Self-Attention) 메커니즘을 사용했다고 합니다. Text to Image, Image to Image, Image Inpaintin..

StyleShot은 다양한 스타일이 자유롭게 적용된 고품질의 이미지를 생성하는 모델입니다. 스타일을 참조할 텍스트나 이미지에서 특징을 추출하고 사용자가 입력한 텍스트 프롬프트나 이미지에 스타일을 적용해 결과 이미지를 생성하는 방식을 취하고 있습니다. Stable Diffusion을 기반으로 하고 있고 StyleGallery라는 다양한 스타일을 포함한 훈련 데이터셋으로 학습되었으며 모델 성능의 종합적 평가를 위한 StyleBench를 제공합니다. StyleShot은 테스트 시 별도의 튜닝 없이 스타일 전이가 바로 가능하다는 장점을 제공합니다. 적용된 기술 요소는 다음과 같습니다.다중 레벨 패치 임베딩 : 이미지의 다양한 크기의 패치로부터 스타일 정보를 추출하여 더욱 풍부한 스타일 표현을 학습합니다.디컬러라..