AI 탐구노트

일론 머스크의 xAI, Grok-2 공개로 본격적인 LLM 경쟁에 뛰어 들다 xAI가 Grok-2를 공개했습니다. 이전 버전인 Grok-1.5보다 향상된 추론 및 코딩 능력을 자랑하며, 특히, 실시간 정보 처리 능력과 이미지 이해 능력이 강화되어 텍스트와 비주얼 데이터를 함께 다룰 수 있습니다. X(구 트위터) 플랫폼에 통합되어 있으며, 직관적이고 다양한 작업에 유연하게 적용될 수 있는 점이 차별화 포인트입니다. 또한, 경쟁 모델인 GPT-4 Turbo와 Claude 3.5를 일부 성능 테스트에서 능가했습니다. OpenAI, Google, Meta, Antropic AI  등에서 이미 유사 서비스를 내놓은 바 있어 또 다른 하나의 서비스가 나왔구나 하며 넘어갈 수 있을텐데... 아무래도 시장에서의 반응은..

LLM(대규모 언어모델)에서 행렬 곱셈을 완전히 제거하면서도 성능을 유지하도록 만든 모델 1.개요MatMul-free Languge Model (이하 MLM)은 LLM(대규모 언어모델)에서 행렬 곱셈을 완전히 제거하면서도 성능을 유지하도록 만든 모델입니다. 대부분의 신경망의 모델 학습과 추론 과정에는 아주 많은 행렬 곱셈이 사용됩니다. 처리해야 하는 데이터의 양이나 네트워크의 복잡도 등 다양한 이유로 인해 행렬곱의 양도 달라지게 되는데, LLM은 특성 상 많은 양의 행렬곱을 필요로 합니다. 2.적용 기술일반적으로 Dense 레이어에서 입력 벡터와 가중치 행렬의 곱으로 출력을 계산하게 되는데 가중치를 {-1, 0, +1}의 값으로 제한하게 되면 곱셈 대신 덧셈과 뺄셈으로 계산을 대체할 수 있게 됩니다. 또..