XVerse : 하나의 이미지에서 여러 인물과 속성을 정밀하게 조정하는 AI 이미지 생성 기술

 

사진이나 그림을 자동으로 생성해주는 인공지능 기술은 최근 몇 년 사이 놀라운 발전을 이루었습니다. 특히 텍스트를 입력하면 그에 맞는 이미지를 생성해주는 ‘텍스트-투-이미지(text-to-image)’ 기술은 예술, 광고, 콘텐츠 산업 등 다양한 분야에서 주목받고 있습니다. 하지만 이 기술이 단일 인물의 이미지를 만드는 데는 강점을 보이는 반면, 두 명 이상의 인물이나 복잡한 장면을 만들 때는 여전히 한계가 있습니다. 예를 들어, 두 사람의 얼굴을 섞어버리거나, 옷차림이 엉뚱해지는 경우도 생깁니다.

 

이러한 문제를 해결하기 위해 바이트댄스(ByteDance) 연구진은 XVerse라는 새로운 기술을 제안했습니다. 이 기술은 한 이미지 안에 여러 인물을 각각 개별적으로 조절하면서도, 포즈나 스타일, 조명 같은 속성들도 함께 제어할 수 있도록 설계되었습니다. 무엇보다 중요한 점은, 기존 모델과 달리 '조정 가능한 부품'만 바꿔주는 방식으로 작동해 전체 이미지를 망치지 않고 원하는 조정을 가능하게 했다는 점입니다.

 

이 글에서는 XVerse가 기존 기술과 어떻게 다른지, 어떤 방식으로 작동하는지, 그리고 실생활에 어떻게 적용될 수 있는지 살펴보겠습니다.

---

XVerse

1) 기존 방식의 문제점

 

기존의 텍스트-투-이미지 생성 모델들은 주로 한 명의 인물 이미지를 만들어내는 데 초점을 맞추고 있었습니다. 'DreamBooth', 'Photoverse' 같은 기술들은 단일 인물에 대한 고정된 정보를 학습해서 텍스트에 맞는 이미지를 잘 만들어냅니다. 하지만 두 명 이상의 인물이 등장하는 복잡한 장면에서는 한 사람의 얼굴이 다른 사람과 섞이거나, 배경이 이상하게 나타나는 문제들이 있었습니다.

 

이러한 현상은 ‘속성 엉킴(Attribute Entanglement)’이라 불리며, 두 개 이상의 속성이 서로 영향을 주어 원하는 결과를 방해하게 되는 문제입니다.

 

이와 같은 문제는 대부분 attention 메커니즘을 활용한 기존 접근법에서 기인합니다. 이미지의 특성을 직접 주입하다 보면, 오히려 생성 모델의 전체 품질을 떨어뜨리거나 왜곡이 발생하게 됩니다.

 

2) 접근 방식

 

XVerse는 이러한 기존 방식의 한계를 극복하기 위해 ‘모듈화(Modulation)’ 기법에 주목했습니다. 모듈화는 이미지 생성을 위한 신호를 이미지 전체가 아니라 특정한 부분에만 조정할 수 있도록 해주는 기법입니다. XVerse는 이 기법을 텍스트 흐름(Text-stream)에 적용함으로써, 텍스트로 설명된 각 인물이나 사물에 대해 정밀한 조절을 가능하게 했습니다.

 

즉, 각 단어(예: '남자', '개', '빨간 셔츠')에 맞는 이미지 정보를 따로 추출해서 필요한 부분에만 영향을 주는 방식으로, 전체 이미지의 구조는 유지하면서도 세부 조정이 가능합니다. 여기에 더해, 이미지의 세부 묘사를 도와주는 역할로 'VAE'라는 추가 정보를 보조로 사용하는 구조를 도입해 이미지의 품질을 한층 높였습니다.

 

그림 : XVerse 전체 구조도 (아키텍처)

 

3) 세부 적용 기술

• 텍스트 스트림 모듈화 (Text-stream Modulation)
  텍스트와 이미지 속 정보를 통합해 조정하는 기법입니다. 예를 들어 '갈색 가죽 핸드백'이라는 설명과 함께 실제 핸드백 이미지를 주면, 단어 '핸드백'에 대한 정보만 조정되도록 설계됩니다. 이를 통해 특정 단어에 맞는 정확한 이미지 조정이 가능해집니다.
  
  즉, 텍스트와 이미지를 어떻게 연결해서 의미있는 정보로 바꾸는 역할을 T-Mod 어댑터가 하게 되는데, 텍스트와 이미지를 CLIP으로 임베딩해 Perceiver Resampler라는 구조에 넣어 Offset 벡터라는 결과를 만들고 이를 이용해 정확, 정밀한 이미지 생성을 하게 됩니다. 
• 블록별 모듈화 (Per-block Offsets)
  이미지 생성 과정은 여러 단계(블록)로 이뤄지는데, XVerse는 각 단계마다 다르게 조정할 수 있도록 설정했습니다. 즉, 상위 블록에서는 전체 구조를, 하위 블록에서는 세부 묘사를 조절해 더 세밀한 제어가 가능합니다.

그림 : 스타일, 포즈, 조명, 의상 등의 다양한 속성 제어 예시

 

• VAE 이미지 피처 보조 입력
  텍스트 정보만으로는 담기 어려운 세부 묘사를 위해, VAE(VARIATIONAL AUTO ENCODER)를 활용해 이미지의 정밀한 부분을 보조적으로 입력합니다. 이 기능은 이미지 왜곡을 줄이고, 텍스트로 표현하기 힘든 디테일을 더해주는 역할을 합니다.

그림 : 모듈화와 VAE 보조 기능의 효과 비교 (더 자연스럽고 정밀한 이미지 생성)

 

• 정규화 손실 기법
  서로 다른 두 인물이 이미지 내에서 섞이는 문제를 막기 위해, '영역 보존 손실(Region Preservation Loss)'과 '텍스트-이미지 주의 손실(Text-Image Attention Loss)'을 사용합니다. 이를 통해 각 인물이 자신의 자리에 고유하게 표현되도록 조정합니다.
• 데이터 구축 파이프라인
  학습 데이터는 사람, 동물, 사물 등 다양한 대상을 포함하며, 높은 품질과 다양한 시점의 이미지를 포함하고 있습니다. 이 데이터셋은 모델이 복잡한 장면도 자연스럽게 생성할 수 있도록 도와줍니다.

그림 : 학습 데이터 구축 과정 (Florence2를 이용해 이미지 설명 및 현지화, SAM2를 이용한 얼굴 추출)

 

 

 

4) 제약사항

현재 XVerse는 대부분 텍스트 기반 조절에 집중하고 있으며, 이미지 기반 조절(예: 이미지 내 특정 위치를 지정해 수정하는 기능)에는 한계가 있습니다. 또한 다중 인물 이미지 생성에 필요한 고품질 대규모 데이터가 부족하다는 점도 한계로 지적됩니다.

 

---

 

 

XVerse는 기존 텍스트-투-이미지 생성 기술의 한계를 극복하고, 복잡한 다중 인물 장면에서도 높은 일관성과 세밀한 조정을 가능하게 한 새로운 접근입니다. 특히, 텍스트 흐름 모듈화를 통해 각 인물별 속성과 외형을 정확히 제어할 수 있으며, 이를 바탕으로 높은 품질의 이미지 생성을 이끌어냈습니다.

 

실생활에서는 개인 맞춤형 이미지 생성, 광고 콘텐츠 제작, 게임 캐릭터 생성 등 다양한 분야에 활용될 수 있습니다. 향후 이미지 기반 조절 기능이나 더 다양한 학습 데이터가 추가된다면, 더욱 정밀하고 활용도 높은 AI 이미지 생성 기술로 발전할 수 있을 것입니다.

---

참고자료

• 논문) XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation (링크)
• 사이트) XVerse 프로젝트 페이지 (링크)
• 코드) XVerse Github 저장소 (링크)

---

Q&A

 

Q. XVerse는 어떤 방식으로 여러 인물을 동시에 조정하나요?

텍스트 속 단어에 해당하는 각 인물 정보를 따로 조정하는 '텍스트 스트림 모듈화' 방식을 사용하여, 각 인물의 외형과 위치를 개별적으로 제어할 수 있습니다.

 

Q. 기존 모델과 비교했을 때 어떤 점이 가장 개선되었나요?

여러 인물이 섞이거나 왜곡되는 문제를 줄이고, 원하는 속성(예: 포즈, 스타일)을 더 정확히 조절할 수 있습니다.

 

Q. 실생활에서 어떤 식으로 활용될 수 있나요?

맞춤형 콘텐츠 제작, 광고 디자인, 개인 아바타 생성 등에서 활용 가능하며, 특히 여러 사람이 함께 등장하는 이미지나 영상 생성에서 강력한 도구가 될 수 있습니다.