Mercury: 상업 규모의 첫 확산 기반 대형 언어 모델

 

인공지능(AI) 기술은 최근 몇 년간 비약적인 발전을 이루며, 다양한 산업 분야에서 혁신을 주도하고 있습니다. 특히, 대형 언어 모델(LLM)은 자연어 처리 분야에서 중요한 역할을 맡고 있으며, 텍스트 생성, 번역, 요약 등 여러 작업에서 인간과 유사한 수준의 성능을 보여주고 있습니다. 그러나 이러한 모델들은 방대한 연산 자원을 필요로 하며, 응답 시간과 비용 측면에서 한계가 존재합니다.

 

이러한 문제를 해결하기 위해, Inception Labs는 새로운 패러다임의 확산 기반 대형 언어 모델(dLLM)인 Mercury를 발표했습니다. Mercury는 기존의 자동회귀 방식과 달리, 텍스트를 한 번에 생성하는 'coarse-to-fine' 접근 방식을 채택하여 속도와 효율성을 크게 향상시켰습니다. 이를 통해 AI 솔루션의 접근성을 높이고, 다양한 응용 분야에서의 활용 가능성을 넓히고자 합니다.

---

전통적인 대형 언어 모델

전통적인 대형 언어 모델은 자동회귀(autoregressive) 방식을 사용하여 텍스트를 왼쪽에서 오른쪽으로 한 토큰씩 생성합니다. 이러한 순차적 생성 방식은 각 토큰을 생성하기 전에 이전의 모든 토큰을 고려해야 하므로, 긴 텍스트를 생성할 때 시간이 많이 소요되고 연산 비용이 증가하는 문제가 있습니다. 또한, 이러한 모델들은 오류 수정이나 추론 능력을 향상시키기 위해 더 많은 연산을 필요로 하며, 이는 응답 지연과 비용 증가로 이어집니다.

 

Mercury 란?

 

이러한 한계를 극복하기 위해, Inception Labs는 확산 모델(diffusion model)을 기반으로 한 새로운 대형 언어 모델인 Mercury를 개발했습니다. 확산 모델은 순차적인 생성이 아닌, 노이즈에서 시작하여 점진적으로 텍스트를 정제하는 'coarse-to-fine' 방식을 사용합니다. 이를 통해 여러 토큰을 동시에 생성하고 수정할 수 있어, 생성 속도와 품질을 동시에 향상시킬 수 있습니다.

Inception Labs는 스탠포드, UCLA, 코넬의 교수들이 설립한 AI 스타트업

 

Mercury 특징

 

Mercury는 확산 모델 기반의 병렬 토큰 생성 기술을 활용하여 더 빠르고, 더 정확하며, 비용 효율성이 높은 AI 모델을 목표로 합니다. 특히 코드 생성 및 AI 응용 분야에서 강력한 성능을 발휘하며, 기존 LLM의 한계를 극복하는 혁신적인 접근 방식을 제시하고 있습니다.

 

 

• 확산 모델 기반(dLLM, Diffusion-based LLM)
  
  • 이미지 생성 분야에서 주로 사용되던 확산 기반 모델은 노이즈에서 시작하여 점진적으로 원하는 데이터를 생성하는 방식임. Inception Labs는 이 개념을 텍스트 생성에 적용하여, 텍스트를 한 번에 생성하고 수정할 수 있는 모델을 개발
  • 기존의 자동회귀(autoregressive) 방식이 아닌 ‘coarse-to-fine’ 확산 모델 방식을 채택하여 한 번에 여러 토큰을 생성하고 수정하여 빠르고 자연스러운 텍스트 생성 가능
• 병렬 토큰 생성과 빠른 응답 속도
  
  • 기존 모델이 한 번에 한 토큰씩 생성하는 것과 달리, 여러 토큰을 동시에 생성하고 수정할 수 있어, 생성 속도를 크게 향상시켰고 자동회귀 모델 대비 최대 10배 빠른 텍스트 및 코드 생성을 지원
• 고품질 코드 생성 (Mercury Coder)
  • HumanEval, MBPP 벤치마크에서 우수한 성능을 보이며, AI 기반 코드 생성에 최적화되어 기존 대형 언어 모델 대비 더 정확하고 효율적인 코드 작성 가능
  • Artificial Analysis Coding Index에서 높은 점수 획득 (LiveCodeBench 및 SciCode에서 평균 점수가 높은 AI 모델)
• 다양한 AI 응용 분야 지원
  • 소프트웨어 개발, 자동화, 연구, 콘텐츠 생성 등 다양한 분야에 활용 가능
• 비용 효율성 향상
  • 자동회귀 방식 대비 연산 비용 감소로 인해 클라우드 기반 AI 서비스에서 더 저렴한 비용으로 높은 성능 제공
• 기타 사항
  • 채팅 응용 프로그램을 위한 모델은 베타 테스트 중임

 

 

그림 : Artificial Analysis 코딩 인덱스 (코딩 성능과 결과물 생성 속도)

 

Artificial Analysis Coding Index :  인공지능 모델의 코딩 능력을 평가하기 위해 Artificial Analysis에서 개발한 지표로 두 가지 코딩 벤치마크인 LiveCodeBench와 SciCode의 평균 점수를 기반으로 산출됨

 

Mercury의 제약사항

 

현재 Mercury는 코드 생성에 최적화된 모델인 Mercury Coder를 공개하고 있습니다. 다만, ChatGPT와 유사한 채팅 응용 프로그램을 위한 모델은 아직 베타 테스트 중입니다. 또한, 확산 기반 모델의 특성상 초기 노이즈로부터 원하는 출력을 생성하는 과정이나 더 길고 더 개방적인 텍스트 생성 작업에서 일관성을 보장하는 부분도 추가 연구가 필요할 수 있습니다. 

---

 

Mercury는 확산 기반 대형 언어 모델로서, 기존의 자동회귀 모델이 가진 속도와 비용의 한계를 극복하고자 합니다. 이를 통해 AI 솔루션의 접근성을 높이고, 다양한 응용 분야에서의 활용을 기대할 수 있습니다. 특히, 코드 생성 분야에서의 우수한 성능은 개발자들의 생산성을 향상시키는 데 큰 기여를 할 것으로 예상됩니다.

 

향후 채팅 응용 프로그램 등 다양한 분야로의 확장이 이루어진다면, 더욱 폭넓은 AI 활용이 가능해질 것입니다.

---

참고자료

• 사이트) Inception Labs 공식 사이트 (링크)
• 블로그) Inception사의 Mercury 공식 소개글 (링크)
• 데모) Mercury 플레이그라운드 (링크) : 공개 이후 요청이 많이 몰려서 그런지 응답 속도가 기대에 못 미쳤습니다. 웨이팅이 걸렸다고나 할까요...
• 마인드맵) Mercury를 요약한 마인드맵 (링크)

 

---

Q&A

Q. Mercury는 기존의 대형 언어 모델과 어떤 점이 다른가요?

Mercury는 확산 모델을 기반으로 하여, 텍스트를 한 번에 생성하고 수정할 수 있습니다. 이를 통해 기존의 자동회귀 모델보다 최대 10배 빠른 속도로 텍스트를 생성할 수 있습니다.

 

Q. Mercury Coder는 어떤 분야에서 활용될 수 있나요?

Mercury Coder는 코드 생성에 최적화된 모델로, 개발자들이 더 빠르고 정확하게 코드를 작성하는 데 도움을 줄 수 있습니다.

 

Q. 확산 모델은 어떤 장점이 있나요?

확산 모델은 노이즈에서 시작하여 점진적으로 데이터를 생성하므로, 생성 과정에서 오류를 수정하고 더 나은 구조의 출력을 생성할 수 있습니다.