SVFR : 통합된 비디오 얼굴 복원 프레임워크

 

얼굴 복원(Face Restoration, FR) 기술의 등장

디지털 이미지 및 비디오 처리 기술은 현대 사회에서 중요한 역할을 하고 있으며, 특히 얼굴 복원(Face Restoration, FR)은 저해상도 혹은 손상된 얼굴 영상을 고품질로 복원하는 기술로 주목받고 있습니다.

 

기존 얼굴 복원 기술의 제약사항

기존의 얼굴 복원 기술은 정지 이미지에 초점을 맞춰왔지만, 비디오 얼굴 복원(Video Face Restoration, VFR) 분야는 아직 많은 도전 과제를 안고 있습니다. 특히, 시간적 일관성 유지, 움직임에 따른 왜곡, 고품질 학습 데이터 부족 등의 문제가 해결되지 않았습니다.

• 시간적 일관성 부족
  기존의 비디오 얼굴 복원 모델은 개별 프레임을 독립적으로 처리하는 경우가 많아, 영상에서 얼굴이 흔들리거나 색이 바뀌는 등의 불안정한 결과를 초래할 수 있습니다.
• 복잡한 움직임 처리의 어려움
  얼굴이 회전하거나 가려질 경우 기존 모델은 정확한 얼굴 특징을 복원하는 데 어려움을 겪습니다.
• 고품질 데이터 부족
  비디오 얼굴 복원을 위해서는 고품질의 데이터셋이 필요하지만, 실제로 이러한 데이터를 수집하고 정제하는 것은 매우 어렵습니다.
• 한정된 복원 기능
  기존 기술은 주로 해상도 향상에 집중되어 있으며, 색상 복원이나 이미지 채우기와 같은 작업은 별도로 수행되어야 하는 경우가 많습니다.

 

기존의 얼굴 복원 기술은 주로 해상도 향상에 집중했으며, 색상 복원(colorization)이나 이미지 채우기(inpainting)와 같은 보조적 작업을 충분히 고려하지 않았습니다. 하지만 이들은 모두 밀접하게 연결된 작업이며, 개별적으로가 아니라 통합된 방식으로 접근할 때 더 나은 결과를 얻을 수 있습니다. 예를 들어, 색상 복원 기술은 압축 과정에서 손실된 원본 색상을 복원하는 데 도움을 줄 수 있으며, 이미지 채우기는 가려진 부분이나 손상된 영역을 자연스럽게 복원하는 데 유용할 수 있습니다.

 

Stable Video Face Restoration (SVFR) 

이러한 문제를 해결하기 위해 일반화된 비디오 얼굴 복원(Generalized Video Face Restoration, GVFR)을 위한 새로운 프레임워크 Stable Video Face Restoration (SVFR)이 제안되었습니다. 이 모델은 비디오 블라인드 얼굴 복원(BFR), 색상 복원(colorization), 이미지 채우기(inpainting)의 세 가지 작업을 하나의 통합된 시스템으로 해결할 수 있도록 설계되어 있습니다.

 

그림 : SVFR의 파이프라인

 

SVFR의 핵심 요소 3가지는 다음과 같습니다. 

• Stable Video Diffusion(SVD)을 기반으로 한 생성 및 동작 관련 사전 학습된 모델을 활용해 영상의 품질과 시간적 안정성을 개선
• 태스크 임베딩(Task Embedding)을 이용하여 작업간의 관계를 강화하고 서로 다른 복원 작업을 동시에 수행
• 통합 잠재 정규화(Unified Latent Regularization, ULR)을 도입하여 다양한 작업 간의 공통된 특징을 효과적으로 학습하도록 유도

 

그림 : 기존 얼굴 복원 모델과 SVFR의 성능을 비교

 

위의 그림은 타 모델들과 SVFR 간의 결과물 품질을 비교한 한 예시입니다. 기존 방식은 한가지 특정 작업만 가능했지만 SVFR은 해상도 개선, 색상 복원, 이미지 채우기 등의 작업들을 동시에 진행할 수 있고 결과적으로 얼굴이 원래 모습과 더 가깝게 복원되고, 영상은 부드럽게 연결됩니다. 

 

SVFR의 세부 적용 기술

 

① 태스크 임베딩(Task Embedding)

 

SVFR은 다양한 얼굴 복원 작업을 수행하기 위해 태스크 임베딩(Task Embedding)을 사용합니다. 이는 각 작업(BFR, 색상 복원, 이미지 채우기)을 이진 벡터(Binary Vector)로 표현하여 모델이 각 작업의 특성을 이해하고 적절한 처리를 수행할 수 있도록 도와줍니다. 

 

② 통합 잠재 정규화(Unified Latent Regularization, ULR)

 

ULR은 서로 다른 복원 작업에서 공통으로 학습할 수 있는 특징을 찾아내고, 이를 공유할 수 있도록 정규화하는 기술입니다. 중간 레이어의 특징 벡터를 비교하여 유사한 영상이 더 가까운 특징 공간에 있도록 정렬함으로써 복원된 얼굴의 일관성을 유지하고, 서로 다른 작업 간의 학습 정보를 공유하여 복원 성능을 향상시킵니다.

 

③ 얼굴 구조 사전 학습(Facial Prior Learning)

 

SVFR은 얼굴 복원 과정에서 정확한 얼굴 구조를 유지할 수 있도록, 얼굴의 중요한 특징점(눈, 코, 입 등) 등의 얼굴 랜드마크(Facial Landmark)를 활용하는 추가적인 학습 목표를 사용합니다. 특히 얼굴이 가려졌을 때 (inpainting 작업 시) 더 자연스런 결과를 얻을 수 있도록 도와줍니다. 

④ 자기 참조 보정(Self-referred Refinement, SRR)

생성된 프레임을 이전 프레임과 비교하여 시간적 일관성을 유지하도록 설계된 기술로, 기존의 프레임을 참조하여 색상 변화나 얼굴 구조의 일관성을 보장하며, 연속된 영상에서도 매끄러운 변화를 유지할 수 있도록 합니다.

---

SVFR의 제약사항

• 고사양의 연산이 필요 : 딥러닝 기반의 비디오 복원 모델은 높은 연산량을 요구하므로 실시간 처리는 어려울 수 있습니다.
• 대량의 학습 데이터 필요 : 모델 성능을 높이기 위해서는 다양한 환경에서 수집된 고품질 데이터가 필요합니다.
• 특정한 얼굴 구조에 최적화 가능성 : 일부 경우 특정 인종이나 얼굴 형태에 대해 더 나은 성능을 보일 가능성이 있습니다.

 

얼굴 복원(Face Restoration, FR) 기술의 등장

 

Stable Video Face Restoration (SVFR)은 기존 얼굴 복원 기술의 한계를 극복하는 방안을 제시하였습니다. 블라인드 얼굴 복원(BFR), 색상 복원(colorization), 이미지 채우기(inpainting)을 하나의 프레임워크로 통합하여 복원 품질과 시간적 안정성을 향상시켜 얼굴 영상을 고품질로 복원할 때 활용할 수 있는 기술입니다. .

---

참고자료

• SVFR 프로젝트 (링크)
• SVFR: A Unified Framework for Generalized Video Face Restoration (논문)
• SVFR Github (링크)

---

Q&A

Q. SVFR은 기존 모델보다 얼마나 더 나은 성능을 보이나요?

실험 결과 PSNR, SSIM, LPIPS 등의 주요 지표에서 기존 모델 대비 더 우수한 성능을 보였으며, 특히 시간적 일관성이 크게 향상되었습니다.

 

Q. 이 모델을 실생활에서 어떻게 활용할 수 있나요?

영화 복원, 감시 카메라 영상 개선, 노이즈 제거 등 다양한 응용이 가능합니다.

 

Q. 이 모델의 한계점은 무엇인가요?

실시간 처리가 어렵고, 학습 데이터 품질에 따라 성능이 달라질 수 있습니다.