목록Implicit Fine-Tuning (1)

AI 탐구노트

암묵적 미세조정 : 모델이 프롬프트 내용을 이용해 잠시 '배운 척' 하기

사람은 새로운 일을 배울 때 꼭 오랜 시간이 필요하지 않습니다. 예를 들어 친구가 '이 수열은 2씩 늘어나' (등차수열)라고 한두 번 보여주면, 그 다음 숫자를 바로 예측할 수 있죠. 대형 언어모델(LLM)도 비슷합니다. 몇 개의 예시 문장을 프롬프트로 보여주면, 따로 훈련하지 않아도 그 규칙을 따릅니다. 이런 능력을 '인컨텍스트 러닝(In-Context Learning, ICL)'이라고 부릅니다. 하지만 여기서 생기는 의문이 있습니다. LLM들은 방대한 데이터 셋으로 수개월 이상 동안 학습됩니다. 그렇게해서 얻은 '가중치(weight)'는 모델의 기억같이 고정되며 실제로는 업데이트되지 않죠. 그런데 어떻게 모델이 새 규칙을 배울 수 있을까요? 구글에서 공개한 논문 'Implicit Rank-1 Upda..
AI 기술 2025. 10. 17. 10:33
이전 Prev 1 Next 다음