AI 탐구노트

xAI의 Grok4 공개와 거의 비슷한 시점에 Moonshot AI가 Kimi K2 모델을 공개했습니다. 살짝 Grok4 소식에 묻힌 듯한 느낌이 있긴 하지만, 오폰소스 에이전트 모델이라는 특수성 때문에 관심을 가져볼만한다고 생각해서 간략하게 공개된 내용을 정리해 봤습니다. Kimi K21. 모델 개요Mixture‑of‑Experts (MoE) 아키텍처 기반 모델 (총 384개 Expert, 토큰 별 8개 선택)총 1조(1T) 파라미터, 활성화된 파라미터 320억(32B) 구성Moonshot AI가 자체 개발한 Muon optimizer를 활용해 15.5조 토큰 규모의 대규모 학습에 성공128K 컨텍스트 크기 지원안정적 멀티태스크 수행 가능수정된 MIT 라이선스 적용 : 기존 MIT 라이선스 조항과 다른..

메타(Meta)는 최근 새로운 인공지능(AI) 모델 시리즈인 Llama 4를 발표했습니다. 이 시리즈는 Llama 4 Scout, Llama 4 Maverick, 그리고 아직 훈련 중인 Llama 4 Behemoth로 구성되어 있습니다. 이번 글에서는 간략하게 Llama 4 모델의 출시 소식을 정리해 보겠습니다. Llama 4의 모델 구성모델 이름총 파라미터 수활성 파라미터 수주요 특징Llama 4 Scout109B (1,090억)1.7B (17억)단일 H100 GPU에서 실행 가능, 1,000만 토큰 컨텍스트 윈도우 지원Llama 4 Maverick400B (4,000억)1.7B (17억)고성능 대형 모델, GPT-4o 수준의 성능, 추론 효율성 우수Llama 4 Behemoth2T (2조)288B (..