跳到主内容

智能路由真能省 AI 成本吗?拿 Intrascope 2.0 和三份公开评测对一遍

你的团队这个月在 AI 上花了多少钱,其中多少花在了不该用贵模型的地方?这问题我问过自己三次。第一次以为答案是"上智能路由",第二次以为是"换便宜主力模型",第三次才发现要管的不是选哪个模型,而是别在会话中途换模型。

10 月 29 日 Intrascope 2.0 在 Product Hunt 上线,主打 "1,650+ apps, Skills and smart model routing",当天 98 赞、日榜第 11,Auto 路由是核心卖点。这篇不评它好不好用——我没买账号——只把它对智能路由的说法跟 10 月的三份公开评测摆一起看。

大家通常怎么做

这公司定位是 "The AI control layer for companies",不叫聊天工具,叫控制层。四块:一个入口接 120+ 模型;两层计费,BYOK 自带 key 或从余额扣;按人、团队、工作区设预算,单模型可单独封顶;2.0 新增 1,650+ 个 MCP 连接器,Manifests 存公司口径、Skills 用 / 一键调。

官网现价 59/159/369 美元每月(Starter/Business/Growth),年付送两个月,企业版另谈。它解决的是真问题:影子 AI、说不清的账单、被复制上百遍的公司口径。问题在于它把路由当成了省钱的主抓手。

为什么这条路走不通

最直接的证据,10 月 2 日挂 arXiv 的预印本,标题就叫 Dynamic LLM Routers are Often Misguided,作者来自 Fastino Labs。六款商用路由(OpenRouter、Azure、vLLM,加 Not Diamond、Nadir、Orca),14 种设置,800 条查询。

对照组近乎挑衅:一个完全不看查询内容的随机路由,按固定概率在 Gemini 3.7 Flash 和 Opus 5 之间二选一,概率设成让成本跟被测路由持平。结果14 种设置没一种在同等成本下比随机更准。Orca 自适应档差 10.5 个百分点,Not Diamond 成本档与 OpenRouter auto-beta 某档各差 8.8。唯一没显著落后的 vLLM Semantic Router 差 1.0,而它是在作者自己训练数据上拟合的。

四个成因:难度盲区(选模型跟题目难度最多弱相关)、长度反转(答案长反而给便宜模型)、语义匹配(同源查询都送同一个模型)、候选池次优。更狠的一句是——即使完美知道每题难度,池子超过两个模型能多赚的也最多 1 个百分点。

第二份,Vals 的 Router Index:五个路由没一个落在成本-准确率前沿上,每个都被至少一个单模型同时击败。最接近的 Ramp 是 57.8%、每次 0.96 美元,同池子的 DeepSeek V4.1 Flash 是 61.3%、0.66 美元。

第三份在缓存层,最要命。prompt cache 按模型隔离。多轮 agent 跑到第三轮,缓存命中的 token 占了 payload 大头,那才是真省钱的地方;中途换模型等于让新模型冷读历史、按全价重算输入。vLLM 团队为此做了 SAAR,在 21,600 个轮次上把切换压掉 79.29%。"每轮挑最划算"的单价降了,账单可能反而涨。

它的工程负责人 Stefan 在 PH 帖里写得挺克制:Auto 不是 cheapest-model-wins,他们给每个 LLM 建模了推理深度、工具调用、速度、上下文窗口、成本,再跟意图匹配。这话恰好承认路由是能力画像问题——而"难度盲区"说的正是画像再细也对不上真实难度。

换个思路

一是收窄候选池。"两个模型以上最多再赚 1 个点"是这轮最实用的结论。短问答为主的场景,一个便宜模型加一个前沿模型兜底就够。Jev Router 用了十二个模型,被 Sonnet 5.5 单模型拉开 13 个点。

二是会话内不换模型。Barclays 那组四 agent 的 PR 复审实验很说明问题:全前沿千次 7 美元,按 agent 绑定 3 美元,按调用路由 1.37 美元——但后者是"每次生成选一次再回到 session model",代价只有 p50 多 1.86 毫秒。省钱的不是换得勤,是换得对地方。

三是把上下文做成资产。这条比 Auto 路由值钱得多。Manifests 和 Skills 的本质是把反复粘贴的口径从"每次输入的 token"变成系统里的配置。站内写过微软 SkillOpt 的思路:把技能压成 300–2000 tokens 的文件,目标模型不变、零额外推理调用。这个方向不靠算法猜。

具体做法

先量。把最近两周调用按"任务类型 × 期望输出长度"分桶,算每桶 token 中位数和单价。不量这步,后面全是拍脑袋。站内有个文本 Token 数估算器,粘贴文本就出成本。

再定会话边界。明确"什么算一次会话"——用户开一个对话,还是 agent 的一个 run。边界定了,锁模型才有意义。策略只在新会话生效:

def route(sid, task_type, escalate=False):
    if sid in SESSION and not escalate:
        return SESSION[sid]        # 锁死,保住缓存
    m = "frontier" if escalate or task_type == "code_review" else "cheap"
    SESSION.setdefault(sid, m)     # 首次选完就钉住
    return m

关键在 setdefault:第一次选完就复用,不会因为某轮"看着难"就跳走。最后把重复输入搬进配置,判据是同一段文字一周内贴过三次。

效果对比

做法成本(千次评审)准确率代价
全用前沿模型约 7 美元基准最贵,最省心
按 agent 绑定约 3 美元与基准持平要预分类 agent
按调用路由 + 锁会话约 1.37 美元与基准持平p50 多 1.86 毫秒

注意第三行是"按调用路由且不破坏会话",不是每轮换模型。OpenRouter 的 Benchmarks 里还有更直白的:Switchyard 用 GLM-5.3-Flash 加 Opus 5.5,Deep SWE 113 题做对 83,花 278.71 美元;只走 Opus 5.5 也是 83 题、285.01 美元。准确率一样,成本只差 2.2%。

站内一篇指数建模研究用 RMSE、MAE、MAPE 对比两个模型,思路一样:得先有固定评估集和口径,才能说这个选择更好。路由的评估集更难造,流量分布每周在变。

常见问题

Intrascope 2.0 到底是什么?团队级 AI 控制层,不是模型供应商:一个入口接 120+ 模型,加后台、预算、用量分析、共享上下文,7 天试用不要卡。坑在三个聚合站给出三套定价,只有一家跟官网一致,价格以官网定价页为准。

1,650+ 连接器越多越好吗?不是。每个连接器都是能让模型读写的真实系统,风险面跟数量成正比。"管理员逐个允许"这设计对,但意味着上线得真过一遍——没人过的等于全开,建议先只开三五个。

托管额度比 BYOK 贵在哪?有第三方测评说托管在 token 成本上加 1.3 倍乘数,这数我没在官方页找到,只当参考。托管一定更贵——你付的是"不用自己管十家账单"的便利费。

三五人的小团队需要吗?按预印本结论,池子越小路由越没用。先做一个统一入口、一张看得懂的账单;Auto 路由等真出现"有人偷刷贵模型"再上。

企业采购要注意什么?官方承诺走厂商 API 企业条款而非消费级账号、对话不训练、SSO/MFA/角色权限、可选私有云或本地部署;第三方测评指出它没有 SOC2 类认证且只有 web 端。

价格和界面半年能变三轮,本文数字带出处,用前回官网复核。至于更好的路由——公开 API 的授权和额度才是更常见的分水岭。

相关阅读

分享到:

本文链接:https://www.biyeyuanma.cn/post/386.html

服务热线

加我微信

加我微信