← 返回功能全景
⇄
Smart Routing & Cost Control

智能路由与成本控制

大模型按 token 计费,而最烧钱的往往不是你问的那句话,是每一轮都在重复发送的长上下文。三道防线——粘性选模、前缀缓存、滚动压缩——把账单压到最低。

三道省 token 防线上下文压缩 4 倍+前缀缓存输入按 1/10 计费用量与花费可追溯

它能做什么

第一道:粘性选模,不来回换

每次切换模型,服务商侧缓存的前缀就作废,整段上下文要重新按原价计费一遍。所以自动选模是「粘」的——同一类任务保持同一个模型,只在上下文将要超出窗口时才升级,避免为了省小钱反而多花大钱。

第二道:提示前缀缓存

系统提示词、专家人设、工具说明这些每轮都要重发的内容,被打上缓存标记。命中缓存后,这部分输入按约 1/10 的价格计费;聊得越久、前缀越长,省得越多。

第三道:滚动上下文压缩

保留最近若干轮原文(保证对话连贯),更早的内容折叠成增量摘要。实测一段 5975 token 的对话压到 1401 token,压缩比 4.3 倍,语义不丢。

按任务类型挑模型

写代码交给代码模型,图像理解交给视觉模型,长文推理交给大窗口推理模型。自动选模按「类别匹配 + 档位达标 + 价格」三项打分,同价位优先便宜的。

限频退避,不硬撞

撞上速率限制时读 Retry-After 做两段式退避(8 秒 → 30 秒等窗口滚动),而不是无脑重试;连续失败才降级换模型,避免把配额烧在重试上。

失败自动换通道

通道 5xx、超时、余额不足、地区封锁,各有不同的处理策略:能换模型就换,换不了就明确告诉你原因(而不是静默失败或重复扣费)。

花费透明

每次调用记录模型、输入输出 token 与预估花费;配合上游账单可以核对「钱花在哪了」,不会出现「不知道怎么就没了」。

怎么用

  1. 1
    默认什么都不用设:自动路由会自动做粘性与压缩。
  2. 2
    想省钱就选低档模型跑日常任务,把旗舰模型留给建模、深度研究这类硬活。
  3. 3
    长对话不必手动清理历史——滚动压缩会自动折叠早期轮次。
  4. 4
    在设置里查看当前档位与模型池,确认自动选模用的是你想要的那一档。

技术亮点

看一眼

智能路由与成本控制 界面截图
同样的活,账单更低

相关功能

现在就试试

免费版永久可用,本地能力开箱即用,不需要信用卡。

免费下载 Working Mate