RobustL2S : 입모양을 보고 음성을 생성하는 모델

 

소리가 포함되어 있지 않은 비디오 영상에서 사람의 입모양에 맞는 음성을 생성해내는 Lip to Speech 합성 모델

 

RobustL2S' 모델은 소리가 포함되어 있지 않은 비디오 영상에서 사람의 입모양에 맞는 음성을 생성해내는 Lip to Speech 합성 모델입니다.

 

소리를 듣지 못하는 청각장애인들이 상대방의 입모양을 봐가며 의사소통을 해야하는 경우가 있는데, 바로 그런 상황에서 활용할 수 있는 모델이라고 보시면 됩니다.예전에 기사에서 COVID 19 때문에 마스크 착용이 의무화되었을 때 사람들간의 의사소통에 어려움이 있었다는 기사를 본 적이 있는 것 같습니다. 아무래도 귀에 들리는 소리만으로 하는 의사소통보다는 상대의 입술 모양을 봐가며 하는 의사소통이 더 많은 정보를 전달할 수 있기 때문에 그런 것이 아닌가 생각해 봅니다.

 

사진) 모델 아키텍처 개요

 

 

RobustL2S 모델은 Lip 인코더와 Speech 인코더를 사용하여 Lip과 Speech의 SSL (Self-Supervised Learning) 표현을 추출합니다. 그런 뒤 Seq2Seq 모델로 입술 표현을 음성 표현에 매핑하고 이를 Speech 보코드로 최종 합성 음성을 만드는 식으로 진행됩니다.

 

아쉽게도 아직 실행코드는 공개되지 않았습니다.

 

사진 : 실행 결과 (좌:음성없이 영상만 있는 입력, 우:생성된 음성이 적용된 영상)