Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- 일론 머스크
- 감정 표현
- 이미지 편집
- 강화학습
- 티스토리챌린지
- 확산 모델
- 음성합성
- XAI
- AI
- 트랜스포머
- LLM
- 자동화
- 오픈AI
- 바이브코딩
- 음성 인식
- AI 기술
- 생성형AI
- 오블완
- 이미지 생성
- OpenAI
- 멀티모달
- 딥러닝
- gaussian splatting
- tts
- 인공지능
- 우분투
- 오픈소스
- 메타
- PYTHON
- ChatGPT
Archives
- Today
- Total
목록Implicit Fine-Tuning (1)
AI 탐구노트
사람은 새로운 일을 배울 때 꼭 오랜 시간이 필요하지 않습니다. 예를 들어 친구가 '이 수열은 2씩 늘어나' (등차수열)라고 한두 번 보여주면, 그 다음 숫자를 바로 예측할 수 있죠. 대형 언어모델(LLM)도 비슷합니다. 몇 개의 예시 문장을 프롬프트로 보여주면, 따로 훈련하지 않아도 그 규칙을 따릅니다. 이런 능력을 '인컨텍스트 러닝(In-Context Learning, ICL)'이라고 부릅니다. 하지만 여기서 생기는 의문이 있습니다. LLM들은 방대한 데이터 셋으로 수개월 이상 동안 학습됩니다. 그렇게해서 얻은 '가중치(weight)'는 모델의 기억같이 고정되며 실제로는 업데이트되지 않죠. 그런데 어떻게 모델이 새 규칙을 배울 수 있을까요? 구글에서 공개한 논문 'Implicit Rank-1 Upda..
AI 기술
2025. 10. 17. 10:33
