모델 하나를 고르는 대신 작업별로 레인을 나눕니다
· BNV Solutions
지난주 이틀 사이에 모델 발표가 둘 있었습니다. 7월 8일 xAI가 Grok 4.5를, 하루 뒤 OpenAI가 GPT-5.6을 Sol·Terra·Luna 세 티어로 일반 공개했습니다. 같은 날 프로젝트 단위 업무 위임을 겨냥한 데스크톱 에이전트 'ChatGPT Work'도 나왔습니다. 눈여겨볼 것은 성능 수치가 아니라 형태입니다. 최상위 모델 하나 대신, 가격이 다른 점 여러 개를 함께 파는 쪽으로 갔습니다.
두 발표가 앞세운 지표가 방향을 말합니다. Sam Altman은 Sol이 코딩 작업에서 토큰 효율이 이전 대비 54% 개선됐다고 언급했고, 일론 머스크는 Grok 4.5가 Opus 4.7과 비슷한 수준이면서 훨씬 빠르고 토큰 효율적이라고 설명했습니다. 둘 다 정답률이 아니라 '같은 일에 토큰을 몇 개 쓰는가'를 내세웠습니다. 에이전트 청구서는 단가에 토큰 수를 곱한 값이고, 그 토큰 수는 모델이 스스로 도는 루프 횟수가 정하기 때문입니다. Grok 4.5는 컨텍스트 50만 토큰, 100만 토큰당 입력 2달러·출력 6달러입니다.
그래서 질문이 바뀝니다. '무엇이 가장 좋은 모델인가'가 아니라 '이 작업은 어느 레인인가'입니다. 가르는 기준은 순위표가 아니라 틀렸을 때의 값입니다. 사람이 즉시 알아보고 되돌릴 수 있는 일 — 파일 찾기, 목록 정리, 초안 잡기 — 은 싼 레인으로 충분합니다. 잘못된 판단이 조용히 코드에 굳어 몇 주 뒤에 드러나는 일이라야 비싼 레인의 값을 합니다.
Grok 4.5가 Cursor 세션 데이터 일부로 학습됐다는 대목이 판단을 더 어렵게 합니다. 실사용 로그가 학습 재료로 되돌아오면 모델은 특정 작업 분포 쪽으로 굽습니다. 그러면 범용 순위 1위가 우리 문의 분류에서도 1위라는 보장이 사라집니다. 확인법은 지난주에 처리한 요청을 새 모델로 다시 돌려 보는 것뿐입니다.
사내 에이전트 단비도 그렇게 운영합니다. 레인마다 모델과 추론 강도를 못 박아, 탐색과 목록화는 가장 싼 레인, 구현과 리뷰는 중간, 아키텍처 판단과 적대적 리뷰 종합만 최상위로 보냅니다. 같은 조사라도 어떤 레인에 맡기느냐에 따라 토큰 소모가 한 자릿수 배로 갈립니다. Slack 스레드처럼 응답 시간 상한이 걸린 표면은 아예 빠른 모델로 고정했습니다.
레인을 나누는 데도 값이 붙습니다. 같은 지시문이 모델마다 다르게 동작하고, 한 레인 안에서 모델을 섞으면 컨텍스트 캐싱 — 매 요청마다 같은 지시문을 다시 보내지 않고 서버가 재사용하게 하는 기법 — 이 깨져 오히려 비싸집니다. 우리 청구서에서도 비용의 대부분은 출력이 아니라 매 턴 다시 실려 가는 컨텍스트였습니다. 레인은 잘게 쪼갤수록 좋은 게 아니라, 실패 비용이 다른 지점에서만 갈라야 합니다. 위임 단위가 커질수록 무엇을 어느 레인에 맡겼는지 남기는 일이 모델 선택만큼 중요해집니다.