목록flow-matching (1)

AI 탐구노트

MuCodec : 초저비트레이트에서 고품질 음악 복원을 위한 음악 코덱

초저비트레이트에서 고품질의 음악을 복원할 수 있는 음악 코덱 MuCodec은 초저비트레이트에서 고품질의 음악을 복원하기 위한 음악 코덱으로 이를 이용해 음성 및 배경음 등을 효과적으로 처리해 높은 품질의 음악을 재생할 수 있습니다.  기존의 음악 압축 기술들은 음악의 복잡한 배경과 보컬의 풍부한 표현을 모두 재현하지 못해 정보 손실이 발생하며, 저비트레이트에서는 재생 품질이 크게 저하되는 문제가 있었습니다.  MuCodec은 두 가지 중요한 요소인 보컬과 배경음악을 고려하여, MuEncoder로 음향 및 의미적 특징을 추출하고, 이를 RVQ로 양자화한 뒤, 흐름 맞춤(flow-matching)을 통해 Mel-VAE 특징을 복원하여 HiFi-GAN을 통해 음악을 재생합니다.   위 그림에서 소개되는 MuC..
AI 기술 2024. 9. 27. 12:24
이전 Prev 1 Next 다음