编辑｜Panda 现在的顶级 AI 确实强大，新成果接连不断，尤其是在数学领域，甚至还攻克了一个千禧年问题。当然，有些争议，但确实强。 然而，顶级 AI 也不便宜：Astra API 标准价为每百万 token 输入 10 美元、输出 50 美元；Fast 模式按适用费率的 2 倍计费。若单次请求输入超过 27.2 万 token，则整个请求将按长上下文价格计费，输入价格翻倍至 20 美元/百万 token，输出价格则上涨至 75 美元/百万 token！ 作为对照，本文后面还会提到的一个 4B 小模型的输出价格可低至 0.08 美元，与顶级 AI 相差成百上千倍。 能力的天花板一路抬升，调用它的单价也不遑多让。于是问题来了：面对日益膨胀的账单，我们该怎么办？ 火思动力（Pyromind）近期开源的 PyroDash 给了一个有点反直觉的答案： 让小模型自己来决定什么时候该呼叫大模型 论文标题：PyroDash: Cost-Efficient Token-Level Small-Large Language Model Collaborative Inference 技术报告：https://arxiv.org/abs/2607.20327 并且他们也已经通过实践证明了这一策略的有效性：在五个数学推理基准上，当设定更倾向于节省成本时，小模型平均每 100 道题才叫一次大模型， 估算总成本从纯大模型的 49.36 美元降到 1.78 美元 ，不到原来的三十分之一，准确度却没下降多少；而如果更看重准确度， 小模型+大模型组合平均准确率 64.04% ，反而比纯大模型的 57.68% 高 6.36 个百分点，且成本还低了两成。并且，这些方案的准确度均高于 RouteLLM、GlimpRouter 这类主流路由方案。 五项数学推理测试中的总成本与平均准确度 为什么选择这条路？Pyromind 创始人兼 CEO Kevin Ding 表示：「PyroDash 最初源于我们自己的需求，因为 Vibe Coding 实在是太贵了。」团队为持续追求代码质量而搭的自动化测试 loop 里，token 消耗呈指数级增长，他们意识到这个成本不能这么持续下去，于是开始研究 大小模型协同 并且，Pyromind 还不只是为了省钱，还涉及到一个更宏大的路线判断。该公司创始人兼 CEO Kevin Ding 在最近一期播客里，把 2025 年下半年以来关于「AI 下半场」的讨论概括成了一道选择题： 一条路是继续沿着预训练走下去，ASI 最终以一个极其庞大的、中心化的模型形态到来，绝大多数场景的问题都由它解决且效果足够好； 一条路是用大量不同能力层次的 AI 智能体组成最终的 ASI，即一个「Agent 蜂群」。 他选了后一条路，理由是：「我们这个世界上需要被 AI 解决的问题和场景，无论是从当下时间点看，它就已经是无穷无尽的了。」新场景还在不断产生，场景本身也不是静态的。在这样的前提下， 想用一个有限参数的模型去泛化掉无限的场景，至少在 Transformer 架构上，他认为挑战太大 来自「十字路口 Crossing」 持类似判断的不只他一个。英伟达研究院的 Peter Belcak 等人去年发过一篇立场论文《小语言模型才是智能体 AI 的未来》，主张 agent 里的大多数调用其实是重复且格式固定的窄任务，小模型足够胜任、更适配、也更经济 ，而在确实需要通用对话能力的地方，混合调用多个模型的异构系统才是自然选择。更早一些，Matei Zaharia 等人在伯克利 BAIR 的博客里提出「从模型到复合 AI 系统的转变」，观察是 最前沿的结果越来越多来自多组件系统而非单体模型 。到了今年 8 月，Gartner 的分析师 Will Sommer 也表示， 在可预见的未来里，不存在一个可靠又经济的、适用于所有场景的模型 宏观判断有了，工程上的问题却出现了：如果未来不是一个超级模型，那么多个模型之间到底怎么配合？谁来决定什么时候该用谁？ 小模型先干，干不动了再叫大模型帮忙 PyroDash 的定义是一种成本感知、token 级的大小模型协同推理范式 ，整套系统有三个部件：一个可训练的小模型、一个保持冻结的大模型，以及负责执行交接的 协同引擎（Collaborate Engine，简称 CE） PyroDash 协同推理架构 其工作方式可以概括为： 小模型优先、至多一次、单向不返回 当一个请求进来时，CE 先把它连同固定的系统提示交给小模型，小模型以流式方式开始生成并持续吐出 token。 如果它能独立完成，结果直接返回用户，全程不产生任何大模型调用。 如果它在某一步判断自己接不住了，就输出一个专属的控制 token（论文记作 τ_off）。CE 检测到这个信号