MusicHiFi : 모노 음원을 스테레오로, 저음질을 고음질로 변환

저해상도 모노 오디오를 고해상도 스테레오 오디오로 만들어주는 고음질 스테레오 보코더 모델

 

일반적으로 오디오 생성/변환을 위해서는 오디오의 멜-스펙트로그램을 생성한 후 이를 오디오로 변환하기 위해 보코더 같은 것을 사용하는데, 기존에는 단일 채널의 낮은 해상도만 지원되는 경우가 많았습니다. 

 

MusicHiFi는 이런 점을 개선해 저해상도 모노 오디오를 고해상도 스테레오 오디오로 만들어주는 효율적인 고음질 스테레오 보코더입니다. 이 모델은 저해상도 멜-스펙트로그램을 오디오로 변환하고, 대역폭 확장을 통해 고해상도 오디오로 업샘플링하며, 스테레오 오디오로 업믹스하는 3개의 생성적 적대 네트워크(GAN)의 캐스케이드를 사용합니다. 

 

소개 페이지에 공개된 음원을 이어폰을 이용해서 확인하면 확실히 차이가 나는 것을 알 수 있으니 한번 들어보시기 바랍니다.

 

사진 : MusicHiFi 추론다이어그램(a), 단일 GAN 학습 다이어그램(b)

 

 

 

참고) 프로젝트, 논문, 소개영상