HiDiffusion : 이미지의 해상도와 생성 속도 향상 기법

사전 훈련된 확산 모델의 해상도와 속도를 높이는 훈련 없는 방법

 

HiDiffusion은 이미지 생성 프레임워크로 확산 기반의 이미지 생성 모델을 이용해 고해상도 이미지를 생성할 때 객체가 불필요하게 중복해서 나타나거나 생성 시간이 많이 걸리는 문제를 해결하기 위해  제안되었습니다.

 

기능 맵 크기를 동적으로 조절해 객체 중복 문제를 해결하기 위해 RAU-Net (Resolution-Aware U-Net)을, 고해상도 블록의 self-attention에서 발생하는 높은 연산량을 줄이기 위해 MSW-MSA (Modified Shifted Window Multi-head Self-Attention) 메커니즘을 사용했다고 합니다.

 

Text to Image, Image to Image, Image Inpainting 등 다양한 기능을 제공하며, 특징으로는 사전 훈련된 확산모델의 해상도와 속도를 높이되 별도의 훈련없이 바로 플러그 앤 플레이 방식으로 손쉽게 사용할 수 있도록 되어 있다는 것입니다.

 

 

 

사진 : HiDiffusion 프레임워크 개요 설명

 

 

사진 : 타 모델과의 생성 결과물 및 속도 비교 예시 (하)

 

 

참고) 프로젝트, 논문, 코드, 데모