AI 탐구노트

인공지능이 점점 커지고 있습니다. 요즘 대부분의 AI 모델은 수백억 개의 매개변수(parameter, 학습 가능한 수치)를 가지고 있습니다. 이런 대규모 언어모델(LLM)은 많은 문제를 잘 풀지만, 의외로 복잡한 논리 퍼즐이나 규칙 기반 문제에는 약한 모습을 보입니다. 왜냐하면 이런 문제들은 단순히 많은 데이터를 외우는 게 아니라, 여러 단계를 거치는 ‘추론(reasoning)’이 필요하기 때문입니다. LLM이 이 문제를 보완하기 위해 사용하는 대표적인 방법이 Chain-of-Thought(CoT, 사고의 연쇄) 와 Test-Time Compute(TTC) 입니다. CoT는 모델이 스스로 중간 추론 단계를 ‘말로 풀어내도록’ 하는 방법이고, TTC는 여러 번 답을 만들어서 그 가운데 가장 좋은 답을 고르..

사람은 문제를 풀 때 한 단계씩 순서대로만 생각하지 않습니다. 먼저 전체적인 방향을 정한 뒤, 필요한 세부 단계를 차근차근 채워나가는 식으로 생각합니다. 예를 들어 수학 문제를 풀 때는 답을 먼저 생각해보고 어떤 계산이 필요한지 거꾸로 따져보거나, 문제 조건을 하나씩 살펴보며 해답으로 다가가는 방식도 사용합니다. 이런 방식은 사람의 머릿속에서 여러 수준의 생각이 동시에 작동한다는 걸 보여줍니다. 최근 인공지능도 이런 생각 흐름을 따라 하려는 시도를 많이 하고 있습니다. 특히 'Chain-of-Thought(CoT)'라는 방식은 문제를 단계별로 설명해가며 답을 찾는 구조입니다. 하지만 이 방법은 복잡한 문제에 약하다는 한계가 있습니다. 이런 문제를 해결하기 위해, 싱가폴 기반의 AI 스타트업인 Sapien..