FLUXMusic : 텍스트-음악 생성 모델

확장된 변형 흐름 트랜스포머 기반의 텍스트-음악 생성 모델

 

FLUXMusic는 텍스트-음악 생성 작업을 위해 확장된 변형 흐름 트랜스포머 기반의 모델입니다.

기존 확산 모델은 고차원 데이터를 효과적으로 처리하지만, 반복적인 샘플링 과정에서 높은 계산 비용과 긴 추론 시간이 발생합니다.

 

FluxMusic은 텍스트-음악 생성에서 Rectified Flow(수정된 흐름)와 Transformer 구조를 적용해, 효율적인 학습과 더 나은 생성 성능을 달성함으로써 이러한 문제를 해결하고 있습니다. 즉, 빠른 학습 속도 및 생성된 오디오의 높은 품질, 입력된 프롬프트에 잘 어울리는 음악 생성, 모델 복잡도를 낮춰 계산 비용을 낮추고 추론 속도를 높일 수 있다는 장점을 제공합니다. 

 

이 모델의 특징은 다음과 같습니다.

• 이중 스트림과 단일 스트림 구조
  텍스트와 음악을 각각 독립적으로 처리한 후, 텍스트 스트림을 제거하고 음악 스트림을 처리하는 방식으로 정보를 통합함
• 사전 학습된 텍스트 인코더
  여러 텍스트 인코더를 사용해 텍스트의 의미를 충분히 포착하고 유연한 추론이 가능하도록 설계됨
• Rectified Flow
  텍스트-음악 생성에서 새로운 확산 전략을 사용해 기존의 확산 모델보다 더 나은 효율성을 제공
• VAE 공간에서 Mel-스펙트로그램 처리
  음악 데이터를 압축해 VAE 기반 잠재 공간에서 노이즈 제거와 학습을 진행함

 

사진 : FluxMusic 모델 아키텍처

 

 

FluxMusic는 두 가지 스트림 블록(이중 스트림, 단일 스트림)을 쌓아 텍스트-음악 시퀀스를 처리한 후, 텍스트 스트림을 제거하고 음악 스트림만 남겨서 패치 예측을 수행합니다. 사전 학습된 CLAP-L과 T5-XXL 텍스트 인코더를 사용해 조건부 캡션 기능을 추출하며, Rectified Flow 기반으로 노이즈를 예측합니다.

 

참고로 아래 서비스 사이트 링크에서는 해당 기술을 활용해 만들어진 서비스와 앱이 소개되어 있으니 관심 있으시면 꼭 한번 방문해 보시기 바랍니다. 사이트에서 샘플로 소개하는 예시 생성 음원을 들어 보면 헐... 이 정도 수준이라고? 하는 생각이 들지도 모릅니다. : -)

 

참고) 논문, 코드, 서비스 사이트