Fashion-VDM: 가상 착용 비디오를 위한 비디오 확산 모델

1. 서론

가상 착용 기술은 온라인 쇼핑과 소셜 미디어 마케팅이 활성화됨에 따라 급격히 발전하고 있습니다. 특히, 의류를 직접 입어보지 않고도 착용감을 미리 확인할 수 있는 가상 착용 기술은 사용자 경험을 크게 향상시킬 수 있습니다. 기존의 이미지 기반 가상 착용 방식은 한정된 각도에서만 의류를 볼 수 있어 입체적인 이해가 어려웠습니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 비디오 기반 가상 착용 기술입니다.

 

비디오 기반 가상 착용 기술은 특정 의류를 다양한 각도와 움직임에서 확인할 수 있도록 하며, 옷감의 질감이나 주름, 동작에 따른 흐름까지도 시뮬레이션합니다. 그러나 이러한 기술을 구현하기 위해서는 일관성 있는 비디오 프레임 생성과 실감 나는 텍스처 렌더링이 필수적입니다. 기존 기술은 이러한 면에서 제약이 많았고, 이는 데이터 부족과 계산 비용으로 인해 더욱 가중되었습니다.

 

이 글에서는 Fashion-VDM이라는 새로운 가상 착용 기술을 소개합니다. 

 

사진 : Fashion-VDM 개요 소개

---

 

2. 본론

2.1 기존 방식의 문제점

기존 비디오 가상 착용 방식은 대체로 광학 흐름(Optical Flow)을 이용하여 각 프레임에서 옷감을 왜곡시키는 방식에 의존했습니다. 그러나 이러한 방법은 포즈 변형이나 가려진 영역에서 부정확한 결과를 초래할 수 있으며, 프레임 간의 일관성 유지가 어렵다는 단점이 있습니다. 이로 인해 비디오에서 잔상이나 깜박임과 같은 시각적 결함이 발생하였습니다.

 

2.2 적용 기술

2.2.1.아키텍처

그림 : Fashion-VDM 아키텍처

 

 

Fashion-VDM은 확산 모델(Diffusion Model)을 기반으로 한 비디오 생성 방식을 채택했습니다. 이 모델은 단일 네트워크 구조에서 64프레임 길이의 고해상도 비디오를 생성할 수 있도록 설계되었습니다. 특히, Split Classifier-Free Guidance (Split-CFG)를 도입하여 입력 데이터의 제어를 강화하였으며, 점진적 시간 학습(Progressive Temporal Training)**을 통해 긴 비디오에서도 일관성을 유지합니다.

 

 

2.3 세부 적용 기술

• 점진적 시간 학습 (Progressive Temporal Training)
  먼저 이미지 데이터셋을 이용해 공간적 레이어만을 학습하고 이후 비디오 데이터셋의 연속 프레임을 사용해 시간적 레이어와 공간적 레이어를 함께 학습하여 프레임 길이를 점진적으로 증가시킵니다. 

그림 : Progressive Temporal Training 설명

 

 

• 3D 컨볼루션과 시간적 주의 블록
  모델의 UNet 아키텍처에 3D 컨볼루션과 시간적 주의(Temporal Attention) 블록을 추가하여 프레임 간 일관성을 향상시켰습니다.
• Split Classifier-Free Guidance (Split-CFG)
  이 기법은 인물 및 의류 데이터 등 각 조건부 입력에 대해 별도의 가중치를 부여하는 식으로  각각에 대한 독립적인 제어를 가능하게 하여, 더욱 사실적인 비디오 생성에 기여합니다.

그림 : Split Classifier-Free Guidance

• Joint Image-Video Training:
  이미지와 비디오 데이터를 결합하여 모델을 훈련시킴으로써 데이터 다양성을 증가시키고, 더 사실적인 결과물을 얻을 수 있었습니다.

 

2.4 제약사항

 

현재 모델은 가려진 영역의 세부 묘사에서 한계를 보이며, 일부 경우 신체 형태가 부정확하게 표현될 수 있습니다. 이러한 문제는 개선된 세분화 및 다중 시점 데이터 활용을 통해 해결 가능성이 있습니다.

---

3. 결론

Fashion-VDM은 비디오 기반 가상 착용 기술에서 중요한 진전을 이루었습니다. 특히, 고품질의 비디오 생성과 텍스처의 사실적 표현은 온라인 쇼핑 환경에서 사용자 경험을 혁신적으로 개선할 가능성을 보여줍니다. 향후 연구에서는 신체 형태의 정확성과 의류의 물리적 특성까지도 반영할 수 있는 기술 개발이 기대됩니다.

---

4. 참고자료

• 논문 : https://arxiv.org/pdf/2411.00225
• 프로젝트 사이트 

Fashion-VDM: Video Diffusion Model for Virtual Try-On

 

---

 

5. Q&A

Q. Fashion-VDM의 주요 개선점은 무엇인가요?
기존 방식에 비해 프레임 간 일관성과 고해상도 비디오 생성 능력을 크게 향상시켰습니다.

 

Q. Split-CFG는 어떤 역할을 하나요?
입력 신호의 독립적인 제어를 가능하게 하여, 더욱 사실적이고 일관된 비디오 생성에 기여합니다.

 

Q. 이 모델의 실용적인 응용 가능성은 무엇인가요?
온라인 쇼핑몰에서 가상 착용을 통해 구매 전 사용자에게 더욱 현실적인 피팅 경험을 제공할 수 있습니다.