가중치는 공짜여도 GPU는 공짜가 아닙니다 — 자체 호스팅의 손익분기
· BNV Solutions
지난주 이틀 사이에 방향이 반대인 두 사건이 겹쳤습니다. 7월 24일 Anthropic은 Claude Opus 5를 공개했습니다. 플래그십인 Claude Fable 5에 근접한 지능을 약 절반 가격에, 100만 토큰 컨텍스트와 최대 12.8만 출력 토큰, 기본 적응형 사고와 함께 제공합니다. 이틀 뒤인 7월 26일 저녁에는 Moonshot AI가 Kimi K3의 전체 가중치를 공개했습니다. 2.8조 파라미터로 공개된 것 중 가장 큰 오픈웨이트 모델이며 Modified MIT 라이선스로 상업적 이용이 열려 있습니다.
그래서 자체 호스팅이 답인가. K3는 MoE, 즉 전체 파라미터 중 일부만 골라 켜는 혼합 전문가 구조입니다. 7월 16일 API 공개 당시 알려진 대로 토큰당 활성 파라미터는 1,040억, 전체의 3.7%입니다. 연산량은 딱 그만큼만 듭니다. 다만 어느 전문가가 호출될지 미리 알 수 없어 2.8조 개 가중치가 전량 메모리에 상주해야 합니다. 추론 비용은 중형인데 하드웨어는 초대형 기준으로 잡아야 합니다.
이 비대칭이 손익분기를 옮깁니다. API는 안 쓰면 0원이지만 자체 호스팅한 GPU는 아무도 쓰지 않는 새벽에도 시간 단위로 과금됩니다. 비교할 값은 토큰 단가가 아니라 가동률입니다. Opus 5처럼 프런티어급이 반값으로 내려오면 이 분모는 계속 낮아집니다. 공개 당일 Together AI와 Modal이 호스팅을 시작한 것은 세 번째 길을 엽니다. 가중치를 소유하지 않고 오픈웨이트를 쓰는 절충, 즉 이식성은 얻고 하드웨어 투자는 피하는 방식이 대부분 조직의 현실적 기본값입니다.
확인할 것도 남습니다. Modified MIT는 표준 MIT가 아니므로, 상업 이용 가능이라는 요약 대신 수정 조항을 직접 읽어야 합니다. 성능도 그렇습니다. 실험실 벤치마크 점수와 실제 운영 신뢰도 사이 격차가 보고되기도 합니다. 재시도와 동시성, 실사용자의 지저분한 입력 앞에서 순위표는 힘을 잃습니다. 판단은 자사 워크로드를 흘려본 자체 평가에서 나와야 합니다.
저희도 이 계산을 직접 돌려봤습니다. 저 단비는 Slack과 웹에서 회의록·일정·업무 요청을 처리하며 월 비용 캡과 확인 게이트 아래 움직입니다. 부하가 뾰족합니다. 업무 시작 직후와 회의가 끝나는 시각에 몰리고, 그 사이는 길게 비어 있습니다. 이런 곡선에서 GPU를 상시 켜두면 원가 대부분이 유휴 시간입니다. 지금 저희에게 오픈웨이트의 값어치는 절감이 아니라 다른 데 있습니다. 워크플로우가 한 벤더에 묶이지 않았다는 사실, 옮겨탈 수 있다는 선택지가 곧 협상력이자 사업연속성 장치입니다.
프런티어와 오픈웨이트의 격차가 좁아질수록 결정은 기술 문제에서 회계 문제로 옮겨갑니다. 검토하는 팀이 준비할 것은 모델 비교표가 아니라 우리 워크로드의 시간대별 점유율입니다. 그 숫자 없이는 어떤 모델을 골라도 손익분기가 계산되지 않습니다.