Pop2Piano : 피아노 연주용 미디 파일 생성 모델

 

음악을 입력 받아 피아노 연주용으로 편곡된 midi 파일 생성 모델

 

Pop2Piano(Pop Audio-based Piano Cover Generation)는 팝음악을 입력으로 받아 피아노 연주용으로 편곡된 midi 파일을 자동으로 생성해 주는 모델입니다. 

 

대량의 '팝음악-피아노 커버음악' 쌍 데이터셋을 만들고 이를 Transformer 기반 네트워크를 가진 모델로 학습했다고 합니다. 국내 연구자(최종호님, 이교구님)께서 논문으로 발표하셨고 코드까지 제공되고 있어 누구나 손쉽게 테스트 해 볼 수 있습니다. 

 

대략적인 처리 흐름은 '입력오디오→파형변환→인코더 전달→Latent Representation 변환→Auto Regression방식으로 Token ID생성→MIDI 파일로 디코딩' 입니다. (아래 아키텍처 그림 참조)

 

이 모델은 피아노를 배우고 있거나 자기가 좋아하는 음악의 피아노 반주를 해 보고 싶은 분들께 도움이 될 수 있을 것 같습니다. 물론 나와 있는 악보가 있다면 이를 이용해도 되지만 그렇지 않는 경우도 많죠. 최신 K팝 중의 하나를 골라서 피아노 반주 생성을 해 봤는데 만들어진 파일을 들어보니 아주 그럴 듯 했습니다. 생성된 midi 파일을 다운받아 음악 프로그램으로 열어보니 피아노를 좀 친다 싶은 분은 딱 활용하기 좋을 듯 싶더군요.

 

다만, 생성할 때 composer를 선택할 수 있는데 생성하는 스타일이 아니라 연주 난이도에 따라 선택할 수 있으면 더 좋을 것 같다는 생각이 들었습니다. 좀 쉽게 칠 수 있는 수준으로 편곡을 해 주는 그런 친절한 AI가 있지 않으면 초보 연주자에게는 이 좋은 기술이 그림의 떡이 될테니까요... 물론 연습을 통해 자신의 연주 실력을 향상시키는 것은 또 다른 얘기겠죠.

 

 

사진: Pop2Piano모델 아키텍처

 

 

사진: Pop2Piano에서의 데이터 싱크/필터링 프로세스

 

 

참고) 논문, 소개, 깃헙, 데모, 코드(Colab), 영상