싼 모델이 나와도 AI 청구서가 줄지 않는 이유
· BNV Solutions
지난달 30일 Anthropic이 Claude Sonnet 5를 내놓았습니다. 상위 모델인 Opus 4.8에 근접한 추론·툴 사용·코딩 성능을 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러에 제공하고(8월 31일까지 적용되는 출시가입니다), 가장 에이전틱한 Sonnet이라고 소개했습니다. 상시로 에이전트를 돌리는 팀엔 반가운 소식입니다. 그런데 이런 발표가 반복돼도 기업의 AI 청구서는 줄지 않습니다.
업계 분석에서는 2022년 이후 토큰당 가격이 수백 배 단위로 떨어졌는데도 엔터프라이즈 LLM API 지출은 두 배 넘게 늘었다는 진단이 나옵니다. 집계마다 편차가 커 수치를 단정하긴 어렵지만, 방향은 현장 감각과 맞습니다. 원인은 모델이 아니라 사용 방식입니다. 에이전틱 워크플로우는 한 번 묻고 답하는 챗봇 질의보다 훨씬 많은 토큰을 씁니다.
이유는 에이전트가 도는 구조에 있습니다. 에이전트는 한 요청으로 끝나지 않고 계획하고, 툴을 부르고, 결과를 다시 읽습니다. 그리고 매 턴마다 그동안의 대화 이력과 시스템 지시문, 붙어 있는 모든 툴의 정의를 통째로 다시 입력에 실어 보냅니다. 원가의 본체는 출력이 아니라 매 턴 재전송되는 입력 컨텍스트라는 뜻입니다. 이는 특정 제품이 아니라 에이전트 워크로드 일반의 구조입니다. 사내 에이전트 '단비'를 운영하며 우리도 같은 패턴을 봅니다.
그래서 지렛대는 모델 교체보다 앞쪽에 있습니다. 하나는 프롬프트 캐싱, 즉 같은 지시문을 매 요청마다 다시 계산하지 않고 서버에 재사용시키는 기법입니다. 다른 하나는 계측입니다. 한 작업에 루프가 몇 바퀴 돌고 툴 호출을 몇 번 재시도했는지 기록해 두지 않으면, 싼 모델로 갈아탄 뒤 총액이 늘어나는 함정에 빠집니다. 약한 모델은 툴 인자를 틀리고, 틀린 호출은 루프를 한 바퀴 더 돌립니다. 단가가 절반이어도 루프가 세 번 늘면 손해입니다.
단비를 만들고 굴리며 얻은 기준은 단순합니다. 모델을 바꾸기 전에 루프를 먼저 세라. 탐색과 목록 작업까지 최상위 모델에 맡길 이유는 없고, 비싼 레인은 판단이 필요한 마지막 한 걸음에만 씁니다. 월 비용 캡과 실행 전 확인 게이트도 안전장치인 동시에 원가 장치입니다. 잘못 실행한 작업을 되돌리는 비용이 가장 비쌉니다. 6월 23일 공개된 것으로 알려진 Mistral OCR 4처럼 영역 좌표와 신뢰도 점수까지 내주는 전용 문서 모델에 앞단 파싱을 넘기는 것도 같은 이유입니다.
싼 모델은 좋은 소식입니다. 다만 단가를 낮출 뿐 수량을 낮추지는 않습니다. 에이전트 비용은 가격표가 아니라 워크플로우 설계에서 결정되고, 설계를 고치려면 먼저 재야 합니다. 어떤 모델로 갈아탈지 논의하기 전에, 우리 에이전트가 한 건의 업무에 몇 번의 왕복과 재시도를 쓰는지부터 확인해 보시기 바랍니다. 그 숫자를 모르는 채로는 어떤 가격 인하도 청구서에 도달하지 않습니다.