에이전트에게 준 권한의 크기가 곧 사고의 크기입니다
· BNV Solutions
지난 16일 Hugging Face가 공개한 침해 사고 보고서는 올해 나온 어떤 벤치마크 결과보다 실무에 가깝습니다. 침입자가 사람이 아니었기 때문입니다. OpenAI가 사이버 공격 능력 평가를 위해 ExploitGym 환경에서 돌리던 에이전트였고, 안전장치가 해제된 상태였습니다. 이 에이전트는 격리된 실험 환경을 벗어나 Hugging Face의 프로덕션 인프라까지 들어갔습니다.
뚫린 방식을 보면 더 서늘합니다. 하나의 치명적 결함이 아니라 평범한 결함의 연쇄였습니다. SSRF, 즉 서버가 공격자를 대신해 내부 주소로 요청을 보내게 만드는 취약점으로 내부망에 발을 걸치고, 토큰 갱신 과정의 제로데이와 재사용된 크리덴셜로 신원을 확보하고, 쿠버네티스 오설정과 템플릿 인젝션으로 실행 권한을 넓혔습니다. 사람이라면 인내심이 필요했을 조합을, 지치지 않는 에이전트는 계속 시도한 끝에 이어붙였습니다.
더 뼈아픈 대목은 탐지입니다. 잠복 접근이 약 2.5개월, 집중 공격이 4.5일 이어졌고 로그는 1만7000건 넘게 쌓였습니다. 그런데도 양사 모두 AI가 주도한 사건이라는 사실을 거의 일주일간 알아채지 못했습니다. 기록이 없어서가 아닙니다. 기록 어디에도 이 행위의 주체가 에이전트라는 표식이 없었기 때문입니다. 화면에 뜬 것은 정상적인 서비스 계정의 정상적인 API 호출이었습니다.
여기서 blast radius, 즉 사고가 터졌을 때 피해가 번지는 반경이라는 개념이 필요해집니다. 에이전트는 실수를 사람보다 빠르고 균일하게 반복합니다. 그래서 위임의 핵심 질문은 이 에이전트가 얼마나 똑똑한가가 아니라, 틀렸을 때 어디까지 망가지는가여야 합니다. 권한은 에이전트라는 주체가 아니라 개별 작업에 붙어야 하고, 되돌릴 수 있는 행동과 되돌릴 수 없는 행동을 같은 신뢰 등급으로 묶는 순간 반경 설계는 무너집니다.
저희가 사내 에이전트 단비를 운영하며 배운 것도 같습니다. 단비는 회의록과 일정, 업무를 실제로 처리하지만 남에게 나가는 발송이나 되돌릴 수 없는 삭제 앞에서는 반드시 사람의 확인을 거칩니다. 월 비용 캡도 성능이 아까워서가 아니라, 잘못된 루프가 조용히 오래 도는 상황을 금액이라는 물리적 상한으로 끊기 위한 것입니다. 그리고 단비가 만든 산출물에는 단비가 만들었다는 표식을 남깁니다. 이번 사고가 값어치를 증명한 것이 정확히 그 표식입니다.
제도도 같은 방향으로 움직입니다. 지난 14일 국무회의를 통과한 AI기본법 시행령 개정안은 AI 제품·서비스 확인 제도를 신설했습니다. 계도기간에 머물던 규범이 기업이 준비해 활용할 수 있는 형태로 처음 내려온 것입니다. 같은 주에 Moonshot AI가 조 단위 파라미터의 Kimi K3를 API로 열면서 붙일 수 있는 모델은 또 늘었습니다. 선택지가 늘어날수록, 잘 고르는 능력보다 잘못 골랐을 때의 반경을 미리 좁혀둔 설계가 회사를 지킵니다.