목록Deep Optimizer (1)

AI 탐구노트

Nested Learning과 HOPE : 깊이 대신 ‘단계’를 쌓는 새로운 학습 패러다임

우리가 쓰는 거대한 언어 모델(LLM)은 겉으로 보면 똑똑해 보이지만, 실제로는 학습이 끝난 뒤에는 거의 변하지 않는 머리(어마어마한 지식을 담고 있지만)에 가깝습니다. 거대한 데이터로 한 번 크게 공부를 하고 나면, 그 이후에는 대화창 안에 들어온 짧은 문맥만 가지고 판단할 뿐이죠. 마치 시험 전날 벼락치기만 해두고, 이후에는 새로 배우지 않는 학생과 비슷합니다. 이 구조에서는 새 지식이나 새로운 사용 습관을 장기적으로 쌓기가 어렵습니다. 반대로 사람의 뇌는 여러 시간축에서 동시에 업데이트됩니다. 몇 초, 몇 분 단위로 금방 사라지는 작업 기억, 하루를 마무리하며 정리되는 기억, 오래 가는 장기 기억이 서로 연결되어 움직이게 되죠..뇌는 같은 뉴런 구조를 반복적으로 쓰면서도, 다른 속도로 가중치를 바꾸..
AI 기술 2025. 11. 24. 14:29
이전 Prev 1 Next 다음