ProPainter : 비디오 영상에서 Inpainting을 제공하는 프레임워크

비디오 영상에서 Inpainting 기능을 제공하는 프레임워크

 

이미지나 영상을 편집할 때 특정한 객체나 워터마크 같은 것을 선택적으로 지워야 할 때가 있습니다. 이럴 때 사용하는 것이 Inpating 기술이죠. ProPainter는 비디오 영상에서 Inpainting 기능을 제공하는 프레임워크입니다. 프로젝트 페이지에서 공개된 기능으로는 다음과 같은 기능이 제공됩니다.

1. Object Removal: 비디오 영상에서 특정 객체를 제거
2. Watermark Removal: 비디오 영상에서 워터마크를 제거
3. Video Completion: 마스크 처리된 영상을 완성(복원)
4. Video Outpainting: 비디오 영상의 영역을 확장

이 모델은 recurrent flow completion, dual-domain propagation, mask-guided sparse Transformer 의 3가지 기법을 도입했다고 합니다. 각각은 손상된 flow field의 복원, 공동으로 훈련된 이미지와 Feature 두 영역 모두에서의 전파(Propagation), 그리고 불필요한 중복 토큰을 제외하는 역할을 하며 이를 통해 성능을 유지하면서도 메모리 사용량을 줄여 효율성을 높이는 결과를 얻었다고 합니다. 

 

사진: ProPainter 모델의 파이프라인

 

 

사진: ProPainter 모델을 적용한 결과 예시

 

참고) 프로젝트, 논문, 코드(깃헙), 영상