做业务接入的人容易有个错觉：“百万 Token 才几块钱，不贵。”单价确实不高，但乘以真实调用量就完全是另一张表。一次企业问答，问题 200 Token 上下，检索回填加输出轻松到 2000 Token；一个客服入口日活几千次，月度账单几百到几千是常态，多轮流式追问还能再翻一倍。

我们后来在网管层收了口，把三件事固化成清单。

① 语义缓存 + 输出预算

高频重复问询（退换货规则、字段含义、状态说明）直接走语义命中，命中即返，不进模型；每类场景预定义响应格式和长度上限，深度推理只对复杂任务开放。宁可截断也别让一次失控对话吃掉整段预算。

② 智能路由，把简单活还给小模型

意图识别、文本归类、实体抽取这类确定性高的活，自动分流到轻量模型；只有多条推理、跨文档归纳才进大参数模型。这一条单独通常能砍掉 30%–60% 的调用开支，体感几乎无损。

③ 请求级归因，账要拆到业务维度

用统一关联 ID 在网关层给每个请求打标（业务线、应用、会话），把 Token 消耗随遥测送出，按月重建一张“谁在烧”的表。没有这张表，就只能一刀切限流，把真干活的同事一起卡住。

⚠️ 一个常被忽略的拐点：当某类任务每月的公有调用费超过一台专用推理节点的摊销成本，且延迟可接受时，把这部分负载迁回自托管开源权重模型反而更划算，持续负载下推理成本降幅常落在 70%–90% 区间。

一行决策口诀：通用摘要接 API，敏感数据走内网部署，垂直知识先扎实体检索增强，毫秒级实时链路别硬塞生成式模块。

EEC工信教考中心，互联网应用工程师，北京青蓝智慧科技

马老师13521730416

丁老师13522094648