Multi-LoRA Switch & Composite : 복수 LoRA 통합의 새로운 방식

텍스트 이미지 생성을 위한 새로운 다중 LoRA(Low-Rank Adaptation) 구성방식인 LoRA Switch와 LoRA Composite를 발표

 

Microsoft와 일리노이 대학교 연구진이 텍스트 이미지 생성을 위한 새로운 접근방법으로 다중 LoRA(Low-Rank Adaptation) 구성방식인 LoRA Switch와 LoRA Composite를 발표했습니다.

 

별도의 미세조정없이 여러 개의 LoRA를 통합하는 것인데 기존 LoRA 가중치 병합 방식(LoRA Merge)과는 달리 개별 LoRA의 가중치는 그대로 유지하고 디코딩 프로세스에 중점을 두고 있습니다.

 

그러다보니 기존 방식에서 LoRA가 추가될 수록 디테일이 떨어지고 왜곡이 심해지던 현상을 개선할 수 있게 되었다고 합니다. GPT-4V를 이용해 구성 효율성과 이미지 품질을 평가했을 때 자동화된 평가와 인간 평가 모두 LoRA Merge 대비 뛰어난 것으로 확인되었다고 하네요.

 

사진) Multi-LoRA 구성방법

 

 

참고) 프로젝트, 논문, 코드