MistoLine : 손그림 입력을 지원하는 이미지 생성모델

 다양한 유형의 라인 아트 입력을 처리할 수 있는 SDXL-ControlNet 모델

 

MistoLine은 손으로 그린 스케치, 건축 도면, 드레스 디자인 등 다양한 유형의 라인 아트 입력을 처리할 수 있는 SDXL-ControlNet 모델입니다. (ControlNet은 조건을 추가하여 확산모델을 제어하는 신경망 구조)

 

이를 이용해 선명하고 생생한 고품질의 이미지(짧은 면 기준 1024px 이상)를 생성할 수 있습니다. MistoLine은 새로운 전처리 알고리즘으로 AnyLine을 사용하고, SDXL ControlNet 모델에 초점을 맞춰 재훈련되었습니다. 

 

특징으로는 아주 디테일한 부분까지 잘 처리한다는 것입니다. 즉, 요소의 디테일이나 이미지 상의 텍스트 라벨을 정확히 추적할 수 있고, 라인 아트와 깊이 매핑을 결합하여 추적 정밀도를 더 높일 수 있습니다. 또한 복잡한 시나리오에서의 세부 복원하는 능력과 신속한 정렬, 안정성 등이 기존 모델들을 능가한다고 합니다.

 

참고) 모델카드, 코드, 소개영상

 

사진: MistoLine을 적용한 결과물 예시

 

 

사진 : SDXL+ControlNet 의 구조