목록jailbreaking (1)

AI 탐구노트

AegisLLM : 다중 에이전트 시스템을 통한 LLM 실시간 보안 강화

최근 인공지능 언어모델(LLM)은 일상 생활과 산업 현장 등 다양한 분야에 빠르게 도입되고 있습니다. 챗봇, 자동 번역, 지식 검색, 코딩 지원 등 많은 서비스에서 LLM이 핵심 기술로 자리잡고 있죠. 그러나 이러한 LLM의 확산은 동시에 새로운 보안 위협을 불러오고 있습니다. 대표적인 예로는 ‘프롬프트 인젝션(prompt injection)’이나 ‘정보 유출’, 그리고 ‘모델의 안전 장치 우회(jailbreaking)’ 등이 있습니다. 이처럼 악의적인 사용자는 LLM이 원래 제공하지 않아야 할 민감하거나 위험한 정보를 뽑아내는 시도를 계속하고 있습니다.기존에는 이런 위협에 대응하기 위해 LLM 학습 단계에서 필터링, 강화 학습, 미세조정 같은 방법을 주로 사용했습니다. 하지만 이런 방식은 실제 서비스..
AI 기술 2025. 7. 16. 10:36
이전 Prev 1 Next 다음