목록복수의 lora 통합방식 (1)

AI 탐구노트

Multi-LoRA Switch & Composite : 복수 LoRA 통합의 새로운 방식

텍스트 이미지 생성을 위한 새로운 다중 LoRA(Low-Rank Adaptation) 구성방식인 LoRA Switch와 LoRA Composite를 발표 Microsoft와 일리노이 대학교 연구진이 텍스트 이미지 생성을 위한 새로운 접근방법으로 다중 LoRA(Low-Rank Adaptation) 구성방식인 LoRA Switch와 LoRA Composite를 발표했습니다. 별도의 미세조정없이 여러 개의 LoRA를 통합하는 것인데 기존 LoRA 가중치 병합 방식(LoRA Merge)과는 달리 개별 LoRA의 가중치는 그대로 유지하고 디코딩 프로세스에 중점을 두고 있습니다. 그러다보니 기존 방식에서 LoRA가 추가될 수록 디테일이 떨어지고 왜곡이 심해지던 현상을 개선할 수 있게 되었다고 합니다. GPT-4V를..
AI 기술 2024. 8. 27. 18:51
이전 Prev 1 Next 다음