메타(Meta), 멀티모달 모델 Llama 4 공개

 

메타(Meta)는 최근 새로운 인공지능(AI) 모델 시리즈인 Llama 4를 발표했습니다. 이 시리즈는 Llama 4 Scout, Llama 4 Maverick, 그리고 아직 훈련 중인 Llama 4 Behemoth로 구성되어 있습니다. 이번 글에서는 간략하게 Llama 4 모델의 출시 소식을 정리해 보겠습니다.

 

---

Llama 4의 모델 구성

모델 이름	총 파라미터 수	활성 파라미터 수	주요 특징
Llama 4 Scout	109B (1,090억)	1.7B (17억)	단일 H100 GPU에서 실행 가능, 1,000만 토큰 컨텍스트 윈도우 지원
Llama 4 Maverick	400B (4,000억)	1.7B (17억)	고성능 대형 모델, GPT-4o 수준의 성능, 추론 효율성 우수
Llama 4 Behemoth	2T (2조)	288B (2,880억)	훈련 중임. GPT-4.5 및 Claude Sonnet 3.7을 능가하는 성능 예상

 

Llama 4의 특징

🧭 구조 및 파라미터

• 총 1,090억개 파라미터 중 17억 개의 활성 파라미터를 사용합니다. 
• 16개의 전문가 (Experts)로 구성된 MOE(Mixture of Experts) 아키텍처를 채택하고 있습니다. 

🪟 컨텍스트 윈도우

• 최대 1,000만 토큰의 컨텍스트 윈도우를 지원하여 방대한 양의 정보를 한번에 처리할 수 있습니다.

🌐 멀티모달 기능

• 텍스트, 이미지, 오디오, 비디오 등 다양한 입력을 이해하고 처리할 수 있는 멀티모달 모델로 개발되었습니다.
• 챗봇, 생성형 AI 등 여러 분야에 적용 가능합니다. 

🚅 성능 및 활용

• 단일 NVIDIA H100 GPU에서 실행 가능하도록 설계되어, 고성능을 유지하면서도 하드웨어 요구 사양을 낮췄습니다. 

🛠️ 개발자 친화적

• Scout와 Maverick 모델은 오픈 웨이트(open-weight)로 공개되어 자유로운 연구 및 커스터마이징 가능합니다.
• AWS, Azure, Hugging Face, NVIDIA NIM 등 다양한 플랫폼에서 접근 가능합니다. 

💬 실제 활용

• Meta AI를 통해 WhatsApp, Instagram, Messenger, 웹 인터페이스에서 이미 사용 중이라고 합니다. 
• 영어 중심 모델이지만, 멀티모달 확장성 고려되었습니다. 

 

open-weight란?

AI 모델의 학습된 가중치(weight)를 공개하여, 누구나 해당 모델을 다운로드해서 실행 또는 커스터마이징해서 사용할 수 있도록 허용하는 방식을 말합니다. 모델의 구조 뿐만 아니라 학습 결과가 함께 제공되는 것이죠.

예를 들어 LLM의 경우, 모델 구조만 공개될 경우, 엄청난 학습데이터도 없고 학습에 필요한 코드와 알고리즘이 없어서 공개된 것과 동일한 성능을 내기 어려운데, 사전 학습된 가중치를 제공함으로써 동일한 성능을 활용하고 추가적인 튜닝을 통해 사용자가 원하는 목적에 활용할 수 있게 되는 장점이 있습니다. 

다만, 대부분 상업적 사용에는 제한을 두는 경우가 많습니다.