SynthLight : 확산 모델을 활용한 인물 사진 조명 변환

1. 서론

조명은 인물 사진에서 분위기와 느낌을 만드는 데 핵심적인 역할을 합니다. 하지만 사진을 찍고 나서 조명을 바꾸는 건 여전히 어렵습니다. 최근에는 인공지능 기술을 활용해 사진 속 조명을 조절하려는 시도가 많아졌지만, 대부분 고가의 장비나 특별히 라벨링된 데이터를 필요로 한다는 제약이 있습니다. 

 

이에 비해, 3D 모델링 기술은 영화나 게임처럼 가상 환경에서 조명을 바꾸는 데 오래전부터 사용되어 왔습니다. 이 3D 기술에서 영감을 받아, SynthLight라는 새로운 기술이 개발되었는데, 이 기술은 3D 데이터를 학습해 사진 속 조명을 실감 나게 변경할 수 있습니다. 특히, 이 방법은 단순히 만들어진 3D 데이터를 학습했을 뿐인데도 실제 사진에서도 뛰어난 결과를 보여주고 있습니다. 

 

그림 : SynthLight 실행 결과 예시

 

---

 

2. 본론

2.1. 기존 방식의 문제점

• 고가의 특수 장비 필요
  기존 기술 중 일부는 Light Stage 같은 비싼 조명 장비가 필요하며, 이렇게 촬영한 데이터도 조명 데이터의 다양성 측면에서 한계가 있습니다. 
• 복잡한 조명 효과 표현 부족
  기존 모델은 빛이 피부 아래로 들어갔다가 퍼지는 효과(서브서피스 스캐터링)나 복잡한 반사 효과를 제대로 표현하지 못합니다.

---

2.2. 접근 방식

SynthLight는 조명 변경 문제를 3D 렌더링 데이터를 통해 해결하려 했습니다. Blender라는 소프트웨어를 활용해 3D 얼굴 이미지를 다양한 조명 조건으로 렌더링한 후, 이 데이터를 학습했습니다. 

 

또한, 두 가지 주요 방법으로 실제 사진과의 차이를 줄였습니다.

• 다중 작업 학습 : 레이블이 없는 실제 인물 사진 데이터를 추가 학습에 사용해 모델이 현실에 더 가까운 이미지를 생성할 수 있도록 했습니다.
• 추론 시 세부 정보 보정 : 학습된 모델이 원본 사진의 디테일을 잘 유지하면서도 조명을 적용하도록 조정했습니다.

2.3. 세부 적용 기술

1) 3D 데이터 생성

Blender 소프트웨어로 약 126만 개의 3D 얼굴 이미지를 생성해 이미지 데이터셋을 구성했고, 이 데이터는 다양한 표정, 피부색, 조명 조건을 포함해 학습용으로 사용되었습니다.

 

그림 : 블렌더를 이용해 생성한 3D 얼굴 이미지를 이용한 데이터 예시

2) 확산 모델을 활용한 조명 학습

Stable Diffusion 기반의 인공지능 모델을 활용하여 조명 변경을 학습했습니다. 환경 맵(HDR 이미지)을 입력으로 받아, 새로운 조명 조건을 생성하는 방식을 채택했으며 이 과정에서 Gaussian 노이즈를 단계적으로 추가하여 모델이 조명 변환을 학습할 수 있도록 했습니다. 

3) 다중 작업 학습

실제 사진 데이터를 학습에 추가하여 현실적인 디테일을 유지했습니다. 조명 변경 학습 외에도 텍스트-이미지 생성 작업을 함께 수행해 데이터 다양성을 높였습니다.

 

그림 : SynthLight의 학습, 추론 파이프라인

 

4) 추론 시 조명 디테일 보정

모델 추론 과정에서 입력 사진과 새로 생성되는 조명의 디테일을 조율할 수 있는 "guidance parameter"를 활용했습니다. 이를 통해 자연스러운 그림자와 하이라이트 효과를 구현했습니다. 아래 그림은 가이드 강도(λ) 인자를 변화시켜 결과 이미지에 미치는 영향을 시각화해서 설명하고 있습니다.

 

입력된 원본 인물사진(a)과 블렌더를 이용해 생성한 환경맵과 이를 적용했을 때의 기준 이미지(b)를 가지고 λ 값을 변화시켜가면서 변화되는 결과물을 보여주는데, λ가 작을수록 조명효과가 더 강하게 적용되지만 얼굴이 약간 변형될 수 있으며, 반대로 값이 클수록 입력 사진의 세부 정보가 잘 보존되지만 조명 효과는 약해진다는 것이죠. 아래의 경우, λ가 2~3 정도가 가장 자연스러운 결과를 만들어 낸다고 합니다. 

 

그림 : 입력 인물의 세부 정보를 유지하면서 조명 효과를 조절하기 위해 가이드 파라미터 사용 설명

 

2.4. 제약사항

• 훈련 데이터가 헤드샷 중심으로 구성되어 있어 전체 신체나 다양한 액세서리를 포함한 데이터에는 한계가 존재합니다.
• 추가적인 데이터 확장 및 더 정교한 VAE(변분 오토인코더) 모델 도입이 필요합니다.

---

 

3. 결론

SynthLight는 인공지능을 활용해 사진 속 조명을 자연스럽게 변경하는 기술로 제안되었습니다. 이 기술은 비싼 장비 없이도 높은 수준의 조명 효과를 구현할 수 있어, 영화 제작, 사진 편집, 게임 등 다양한 분야에서 활용될 수 있습니다. 

 

저는 특히 이 기술이 거대한 실제 이미지 데이터셋이 아닌, 3D 모델을 통해 생성한 데이터를 이용했음에도 불구하고 훌륭한 성능을 보여주고 있다는 측면에서 높이 평가하고 싶습니다. 이를 통해 학습 데이터 제작에 소요되는 비용 자체를 획기적으로 줄일 수 있으니 그것도 좋고 이 기술이 적용되었을 때 나오는 결과물의 품질도 뛰어나니 더 그렇습니다. 

 

차후에 이런 기술이 대중화가 된다면 일반 사람들도 자신의 스마트폰으로 찍은 사진에 대해 촬영 이후 조명 수정을 통해 전문가 수준의 사진으로 만들 수 있게 될 것입니다. 다양한 종류의 조명을 갖춘 고급 스튜디오에서 찍은 것처럼 말이죠. 당연 기대됩니다~ :-)

 

---

4. 참고자료

• SynthLight 프로젝트 사이트 (링크)
• 논문) SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces  (링크)

---

5. Q&A

Q. SynthLight는 어떤 데이터를 사용하나요?

Blender로 생성한 3D 얼굴 데이터를 사용해 다양한 조명 조건을 학습했습니다. 약 126만 장의 이미지가 포함되었습니다.

Q. SynthLight는 기존 기술과 무엇이 다른가요?

Light Stage 같은 비싼 장비 없이 3D 렌더링 데이터로만 학습하고, 실제 사진에서도 자연스러운 조명 효과를 구현할 수 있습니다.

Q. 이 기술은 어디에 사용될 수 있나요?

영화 제작, 게임, 사진 편집, 광고 등 조명 효과를 활용하는 모든 분야에서 유용합니다.