YuE : 가사로부터 완전한 노래를 생성하는 오픈소스 음악 생성 모델

 

1. 서론

음악은 인간의 감정을 표현하고 문화적 가치를 전달하는 중요한 매체로, 오랜 시간 동안 다양한 형태로 발전해 왔습니다. 특히 디지털 기술의 발전과 함께 음악 제작 방식도 혁신을 거듭하고 있죠. 최근에는 인공지능(AI)을 활용하여 음악을 생성하거나 보완하는 연구가 활발히 진행되고 있는데, 이러한 기술은 창작자들에게도 새로운 도구가 되기도 하고 다른 한편으로는 음악 산업 전반에 위기 의식을 불러 오기도 합니다. 

 

AI를 활용한 음악 생성 분야에서 가장 큰 도전 중 하나는 주어진 가사로부터 완전한 노래를 생성하는 것입니다. 이는 단순한 멜로디 생성뿐만 아니라, 가사에 맞는 보컬 트랙과 반주를 포함한 전체 곡을 만드는 것을 의미합니다. 이러한 작업은 음악의 복잡한 구조와 다양한 요소들을 고려해야 하므로, 기술적으로 매우 까다로운 과제입니다.

 

이러한 배경에서 등장한 YuE는 가사로부터 완전한 노래를 생성하는 오픈소스 기반의 음악 생성 모델입니다. YuE는 다양한 장르와 언어, 보컬 스타일을 모델링할 수 있으며, 몇 분 길이의 완전한 곡을 생성할 수 있습니다. 이를 통해 음악 창작의 새로운 가능성을 열어주며, AI와 음악의 융합을 촉진하고 있습니다.

 

---

2.본론

2.1.기존 방식의 제약 사항

기존의 AI 음악 생성 모델은 주로 짧은 길이의 비보컬 음악 클립을 생성하는 데 초점을 맞추고 있었습니다. 이러한 모델들은 멜로디나 리듬을 생성하는 데는 성공적이었지만, 가사에 맞는 보컬 트랙과 이를 보완하는 반주를 포함한 완전한 노래를 생성하는 데는 한계가 있었습니다. 또한, 음악의 길이가 길어질수록 일관된 구조와 흐름을 유지하는 것이 어려웠습니다. 이러한 문제로 인해, AI를 활용한 완전한 노래 생성은 여전히 도전적인 과제로 남아 있었습니다.

 

2.2.YuE 프로젝트

 

YuE 프로젝트는 이러한 문제를 해결하기 위해 다음과 같은 접근 방식을 채택하였습니다:

• 세분화된 오디오 토크나이저 사용
  YuE는 오디오 데이터를 효율적으로 처리하기 위해 의미적으로 향상된 오디오 토크나이저를 사용합니다. 이는 오디오 신호를 작은 단위로 분할하고, 각 단위를 의미적으로 풍부한 토큰으로 변환하여 모델이 더 쉽게 학습할 수 있도록 합니다. 이를 통해 훈련 비용을 절감하고, 모델의 수렴 속도를 높일 수 있습니다.
• 듀얼 토큰 기법 도입
  듀얼 토큰 기법은 보컬 트랙과 반주 트랙을 동시에 모델링하기 위해 도입된 방법입니다. 각 트랙에 대해 별도의 토큰을 생성하고, 이를 동기화하여 전체 곡을 생성합니다. 이러한 접근 방식은 기존의 Llama 디코더 아키텍처를 수정하지 않고도 보컬과 반주를 효과적으로 결합할 수 있게 해줍니다.
• 가사 체인 오브 소츠(Chain-of-Thoughts) 적용
  가사 체인 오브 소츠 기법은 모델이 주어진 가사를 따라 전체 곡을 점진적으로 생성할 수 있도록 하는 방법입니다. 이를 통해 모델은 가사의 흐름과 의미를 유지하면서 일관된 구조의 곡을 생성할 수 있습니다.
• 3단계 훈련 방식 채택
  YuE는 모델의 확장성, 음악성, 가사 제어 능력을 향상시키기 위해 3단계 훈련 방식을 채택하였습니다. 각 단계에서는 모델의 특정 능력을 강화하기 위한 훈련이 진행되며, 이를 통해 최종적으로 고품질의 음악 생성이 가능해집니다.

 

그림 : 가사로부터 완전한 노래를 생성 하는 과정

 

 

2.4. 제약사항

YuE 모델은 긴 시퀀스를 생성하기 위해 상당한 GPU 메모리를 필요로 합니다. 예를 들어, 24GB 이하의 GPU 메모리에서는 동시에 최대 2개의 세션을 실행할 수 있으며, 전체 곡을 생성하려면 80GB 이상의 메모리를 갖춘 GPU가 필요합니다. 또한, 30초 분량의 샘플을 생성하는 데도 상당한 계산 비용이 소요되며, 이를 줄이기 위해 최적화된 인코딩 및 디코딩 기술이 필요합니다.

 

YuE가 다양한 장르와 언어를 지원하지만, 특정한 음악 스타일이나 악기 구성에 대한 세부적인 컨트롤이 부족할 수도 있습니다. 이는 향후 연구에서 해결해야 할 과제 중 하나입니다.

 

3. 결론

YuE 프로젝트는 가사로부터 완전한 노래를 생성하는 혁신적인 AI 모델로, 기존의 AI 음악 생성 방식과 차별화된 접근 방식을 제공합니다. 보컬과 반주를 동시에 모델링하는 듀얼 토큰 기법, 가사의 흐름을 유지하는 체인 오브 소츠 기법, 효율적인 오디오 토크나이저 등의 기술을 통해 보다 자연스럽고 완성도 높은 음악을 생성할 수 있습니다.

 

이러한 기술은 음악 창작자들에게 새로운 도구를 제공할 뿐만 아니라, AI와 예술의 융합을 한 단계 발전시키는 계기가 될 것입니다. 향후 YuE 모델이 GPU 메모리 요구 사항을 줄이고, 사용자 맞춤형 음악 생성 기능을 추가한다면, AI 음악 생성 기술의 대중화에 큰 기여를 할 것으로 기대됩니다.

 

4. 참고자료

• YuE 프로젝트사이트 (링크)
• 코드) YuE 깃헙 (링크)

 

5. Q&A

Q. YuE 모델은 어떤 방식으로 노래를 생성하나요?

YuE는 가사를 입력받아 보컬과 반주를 동시에 모델링하여 완전한 곡을 생성합니다. 이를 위해 듀얼 토큰 기법과 체인 오브 소츠(Chain-of-Thoughts) 기법을 사용하여 가사의 흐름과 음악적 일관성을 유지합니다.

 

Q. YuE 모델을 실행하는 데 필요한 최소 사양은 무엇인가요?

YuE 모델은 긴 시퀀스를 생성하기 때문에 높은 GPU 메모리를 필요로 합니다. 24GB VRAM이 있는 GPU에서는 짧은 클립을 생성할 수 있지만, 전체 곡을 만들려면 80GB 이상의 GPU 메모리가 필요합니다.

 

Q. YuE 모델은 어떤 음악 장르를 지원하나요?

YuE는 다양한 장르와 언어를 지원하며, 훈련된 데이터에 따라 여러 스타일의 곡을 생성할 수 있습니다. 다만, 특정한 스타일이나 악기 구성을 완벽하게 통제하는 기능은 현재 제한적입니다.