목록Hyper-Connections (1)

AI 탐구노트

mHC : 추가 계산 비용을 줄이기 위한 계산·통신 병렬 처리 방식

대규모 언어모델과 같은 딥러닝 모델은 점점 더 깊고 커지고 있습니다. 하지만 모델이 커질수록 학습이 항상 잘 되는 것은 아닙니다. 오히려 학습이 중간에 불안정해지거나, 성능이 기대만큼 나오지 않는 경우도 자주 발생합니다. 이 문제를 해결하기 위해 오래전부터 사용되어 온 구조가 바로 '잔차 연결(residual connection)'입니다. 입력을 그대로 다음 층으로 전달하는 이 단순한 구조는 깊은 신경망에서도 학습이 가능하도록 만드는 핵심 장치였습니다. 최근에는 이 잔차 연결을 더 확장해 성능을 높이려는 시도가 이어지고 있습니다. Hyper-Connections(HC)는 잔차 경로를 여러 개로 확장하고, 이 경로들을 학습 가능한 방식으로 섞어 더 풍부한 표현을 얻고자 한 방법입니다. 작은 모델에서는 분명..
AI 기술 2026. 1. 17. 13:51
이전 Prev 1 Next 다음