Personalize Anything : 디퓨전 트랜스포머로 개인화된 이미지 생성하기

 

개인화된 이미지 생성이란?

요즘 인공지능(AI)은 원하는 이미지를 직접 만들어 주는 기술이 발전하고 있습니다. 예를 들어, "바닷가에 있는 강아지"라는 문장을 입력하면 AI가 그에 맞는 그림을 생성하는 식입니다. 하지만 특정한 인물이나 물체를 유지하면서 새로운 장면을 만들려면 더 복잡한 기술이 필요합니다. 이런 기능을 "개인화된 이미지 생성(Personalized Image Generation)"이라고 합니다.

 

현재 개인화된 이미지 생성을 위해 많은 방법들이 연구되고 있습니다. 기존 방식은 미리 학습된 AI 모델을 추가로 훈련하거나, 특정 이미지를 반복적으로 최적화하는 방식이었습니다. 하지만 이런 방법들은 시간이 오래 걸리고 많은 컴퓨터 자원이 필요하다는 문제가 있었습니다.

 

기존 개인화된 이미지 생성 방식의 문제점

기존의 개인화된 이미지 생성 방식은 크게 두 가지로 나뉩니다.

 

1️⃣ 훈련 기반 방법(Training-based Methods)

• 특정 대상을 학습하기 위해 모델을 추가로 훈련합니다.
• 고품질의 개인화된 이미지를 생성할 수 있지만, 훈련하는 데 시간이 오래 걸립니다(보통 몇 분~몇 시간)
• 훈련할 때 사용하는 데이터가 제한적이면, 특정 장면에서만 잘 작동하고 새로운 상황에서는 성능이 떨어질 수 있습니다.

2️⃣ 훈련 없이 최적화하는 방법(Training-free Methods)

• AI 모델을 다시 훈련하지 않고, 기존 모델이 가지고 있는 기능을 최대한 활용합니다.
• 속도가 빠르지만, 생성된 이미지에서 대상의 정체성을 유지하는 것이 어렵습니다. 예를 들어, 특정 인물의 얼굴을 유지해야 하는데, 생성된 이미지에서 얼굴이 변형되거나 흐릿해지는 문제가 발생할 수 있습니다.

 

새로운 접근 방식 : 디퓨전 트랜스포머 활용

이를 해결하기 위해 디퓨전 트랜스포머(Diffusion Transformer, DiT) 라는 새로운 방법이 제시되었습니다. 이 방법의 핵심은 AI 모델을 추가 훈련하지 않아도 이미지를 쉽게 개인화할 수 있다는 점입니다. 연구진은 AI 모델이 이미 가지고 있는 기능을 활용하여 특정한 대상(예: 특정한 강아지나 사람의 얼굴)을 새로운 장면에서도 그대로 유지하면서 자연스럽게 이미지를 생성할 수 있도록 했습니다.

---

 

Personalize Anything

1) 특징

Personalize Anything을 통해 기존 AI모델을 추가 훈련없이 원하는 대상을 유지하면서 할수 있는 작업들을 다음과 같습니다. 

• 단일 대상 개인화(Single-subject Personalization) → 특정한 하나의 대상을 유지하면서 이미지를 생성
• 다중 대상 개인화(Multi-subject Personalization) → 여러 개의 대상을 동시에 유지하면서 생성
• 주제-배경 조합(Subject-Scene Composition) → 특정한 대상을 원하는 배경과 자연스럽게 합성
• 인페인팅 & 아웃페인팅(Inpainting & Outpainting) → 기존 이미지의 일부를 수정하거나 확장

그림 : Personalize Anything 을 통해 할 수 있는 작업들

 

 

2) 접근 방식

연구팀은 퓨전 트랜스포머를 사용하여 훈련 없이도 고품질의 개인화된 이미지를 만들 수 있는 방법을 제안했습니다. 핵심 기술은 "토큰 교체(Token Replacement)" 방식입니다.

 

💡 토큰 교체란?

• AI 모델이 이미지를 생성할 때, 특정 부분을 사용자의 원하는 이미지(예: 강아지의 모습)로 대체하는 방법입니다.
• AI 모델이 이미 알고 있는 기능을 활용하기 때문에, 추가 훈련 없이도 특정한 대상이 변형되지 않고 자연스럽게 표현됩니다.

 

연구팀은 이 방법을 발전시켜 시간에 따라 적응하는 토큰 교체(Timestep-adaptive Token Replacement) 방법을 제안했습니다.

• 초반에는 대상의 형태를 유지하도록 강하게 반영하고,
• 후반에는 배경이나 주변 요소와 자연스럽게 어우러질 수 있도록 조정하는 방식입니다.

 

3) 아키텍처

 

아래 그림은 '시간에 따라 적응하는 토큰 교체(Timestep-adaptive Token Replacement)' 방식이 어떻게 동작하는지를 보여줍니다. 

그림 : Personalize Anything의 작동 방식

 

초기단계(좌측)은 배경과 조화를 고려하지 않고 대상의 특징을 고정하는데 집중하고, 후기단계(우측)은 배경과의 조화를 고려하면서 텍스트 설명과도 잘 맞도록 조정하는 작업이 이뤄집니다. 

 

4) 세부 적용 기술

• 토큰 교체(Token Replacement) 활용
  • 기존의 퓨전 트랜스포머 모델이 이미지를 생성할 때, 특정 대상(예: 사용자의 얼굴이나 애완동물의 모습)을 미리 지정해 놓은 이미지에서 가져와서 활용합니다.
  • 이렇게 하면 대상의 특성을 유지하면서도 새로운 배경이나 장면에서 자연스럽게 적용할 수 있습니다.
• 패치 변형(Patch Perturbation) 적용
  • 대상의 모습이 너무 딱딱하게 유지되는 것을 방지하기 위해 일부 패턴을 섞거나 변형하는 방식을 추가했습니다.
  • 이렇게 하면 더 자연스럽고 다양하게 표현할 수 있습니다.

 

5) 적용 사례 

이런 기술이 적용되어 다양한 응용이 가능해 집니다. 

• 레이아웃 기반 생성(Layout-Guided Generation) → 대상의 위치를 조정하여 원하는 구도로 배치 가능
• 다중 대상 개인화(Multi-Subject Personalization) → 한 이미지에서 여러 개의 대상을 유지하면서도 자연스럽게 배치 가능
• 이미지 보정(Inpainting & Outpainting) → 기존 이미지에서 특정 부분을 수정하거나 확장하는 기능

그림 : 다양한 확장 적용 사례

 

6) 제약사항

• 기존의 퓨전 트랜스포머 모델을 활용하기 때문에, 모델 자체가 학습한 데이터에 의존하는 한계가 있습니다.
• 특정한 조명이나 각도에서 원본과 완벽하게 일치하는 이미지를 생성하는 것이 어려울 수도 있습니다.
• 너무 복잡한 장면에서는 대상의 디테일이 일부 손실될 가능성이 있습니다.

---

 

이 연구는 기존의 개인화된 이미지 생성 방식의 한계를 극복하기 위해 퓨전 트랜스포머 기반의 훈련 없는 방식을 제안했습니다.

• 추가 훈련 없이도 고품질 개인화 이미지 생성 가능
• 대상의 정체성을 유지하면서도 유연하게 배경과 융합 가능
• 다양한 응용 가능 (멀티 대상, 레이아웃 조정, 이미지 보정 등)

실생활에서 맞춤형 콘텐츠 제작 (예: 개인화 마케팅이나 광고 등), 소셜 미디어에 올리는 독창저인 영상, 또는 개인화된 아바타 생성 또는 온라인 쇼핑몰 등에서 가상 피팅 등에 활용될 수 있을 것입니다. 개인적으로는 지자체 관광지의 실감영상 장비에 적용되면 관광객들이 재미난 추억거리를 만들어 갈 수 있도록 하는데도 도움이 될 것 같다는 생각이 듭니다. 시간되면 한번 만들어봐야겠습니다. ^^

 

 

---

4. 참고자료

• 논문) Personalize Anything for Free with Diffusion Transformer (링크)
• 사이트) 프로젝트 사이트 (링크)
• 코드) Github Repo (링크)

---

Q&A

Q. 이 방법이 기존 AI 모델과 어떤 점이 다른가요?

기존 모델들은 특정 대상을 개인화하려면 추가 훈련이 필요했지만, 이 연구에서는 기존 모델을 그대로 사용하면서도 개인화된 이미지를 생성할 수 있도록 했습니다.

 

Q. 이 방법을 이용하면 내가 원하는 사진을 만들 수 있나요?

네! 예를 들어, 당신의 애완동물을 다양한 배경에서 표현하거나, 특정 인물의 얼굴을 유지하면서 새로운 장면을 만들 수도 있습니다.

 

Q. 한 이미지에서 여러 개의 대상(예: 두 마리 강아지)을 동시에 개인화할 수도 있나요?

네! 연구팀이 제안한 방식은 여러 개의 대상을 유지하면서도 자연스럽게 배치할 수 있도록 지원합니다.