StyleShot: A SnapShot on Any Style

StyleShot은 다양한 스타일이 자유롭게 적용된 고품질의 이미지를 생성하는 모델입니다. 스타일을 참조할 텍스트나 이미지에서 특징을 추출하고 사용자가 입력한 텍스트 프롬프트나 이미지에 스타일을 적용해 결과 이미지를 생성하는 방식을 취하고 있습니다. Stable Diffusion을 기반으로 하고 있고 StyleGallery라는 다양한 스타일을 포함한 훈련 데이터셋으로 학습되었으며 모델 성능의 종합적 평가를 위한 StyleBench를 제공합니다. StyleShot은 테스트 시 별도의 튜닝 없이 스타일 전이가 바로 가능하다는 장점을 제공합니다.

 

적용된 기술 요소는 다음과 같습니다.

• 다중 레벨 패치 임베딩 : 이미지의 다양한 크기의 패치로부터 스타일 정보를 추출하여 더욱 풍부한 스타일 표현을 학습합니다.
• 디컬러라이제이션 및 HED 디텍터 : 원본 이미지에서 스타일 정보를 제거하고 순수한 컨텐츠 정보를 추출합니다.
• Style-Aware Encoder : 스타일 참조 이미지로부터 스타일 임베딩을 추출합니다.
• Content-Fusion Encoder : 사용자 입력(텍스트 또는 이미지)과 스타일 참조 이미지를 융합해 최종 스타일화된 이미지를 생성합니다.
• 평행 크로스-어텐션 : 스타일 임베딩을 Stable Diffusion 모델에 병렬 크로스-어텐션 모듈을 통해 통합합니다.
• 노이즈 주입 : U-Net 기반의 안정적인 확산 모델에서 스타일과 텍스트 임베딩을 결합하여 최종 결과물을 생성합니다.

 

참고) 프로젝트, 논문, 코드, 데모

 

 

사진 : StyleShot의 아키텍처 개요