芯东西（公众号：aichip001） 作者 江宇 编辑 漠影 9月21日下午，北京中关村国际创新中心，开源推理框架SGLang核心贡献者王书文放出一组数据：在Agent流量里，一次请求的中位数输入是8.8万个Token，输出却只有413个Token，两者 相差213倍 。 “智能体时代，算力并不是花在输出上，而是花在反复携带的历史上下文上。”他说。 这里，便是AICC2026人工智能计算大会下设的“AI软件栈”分论坛。现场，SGLang团队围绕Agent时代推理负载的变化进行了分享。 当天，AICC2026人工智能计算大会在北京中关村国际创新中心举行，近3000名产业人士来到现场。 大会一口气设置了AI芯片、Token工厂、开放超节点、大模型、AI软件栈、具身智能与智算发展、AI Work智能体七场专题论坛，把芯片、系统、软件、模型与应用等产业链不同环节聚到了一起。 就在同一天、同一个大会里，芯片厂商、系统厂商与推理框架的开发者，都聚到了同一张桌子前。 从长上下文带来的缓存压力，到多元芯片适配，再到互连、调度与软件栈协同，讨论的焦点已经很难被拆成某一个环节的问题。 他们最终指向的是同一道题—— 当智能体从一次调用走向持续任务链，中国AI计算的下一步，该怎么走？ 一、智能体爆发，AI计算每一层都在被重新定义 智能体的爆发，正在把算力推上国家战略基础设施的位置。 2026年，智能体从发布会上的演示，走进了真实的生产、科研和社会服务；一次智能体任务，可能包含规划、多轮推理、工具调用、记忆、校验和重试，负载变长、并发增加，系统还必须可恢复、可观测、可承担成本。 在AICC现场，大会把这种变化拆成了 三层产业信号 来讨论。 其一，智能体改变了计算的服务对象。 基础设施过去服务一次模型调用，现在要服务一段持续的任务。 其二，真实应用负载正在反向定义计算体系。 2026年6月，OpenAI与博通发布的Jalapeño芯片，直接以模型路线、计算内核、推理服务和产品需求来指导芯片设计，模型与应用的需求，正沿着产业链向上游延伸。 其三，全球同时发生技术路线多元化与系统级整合加深。 在Hot Chips 2026上，GPU、定制芯片、晶圆级计算、RISC-V、Chiplet、存算一体同台出现，头部企业又在围绕真实负载，加强从芯片到软件的全栈协同。 放到中国AI计算产业的语境里，AI正在同时向两个方向延伸： 一场向上，推理、工具使用、长程任务和科学发现能力不断突破智能上限；一场向外，成本下降与智能体普及，让智能从少数机构掌握的能力，走向企业、个人和社会普遍需要的生产力。 智能体改变的是整条AI计算产业链的组织方式。理解这一点，是读懂这场大会、以及下文聚焦的infra层的起点。 二、从“回答一个问题”到“持续干活”：一次Agent任务，推理侧发生了什么 回到开篇王书文的那组数据，这直接揭示了一个变化：Agent正在把推理从一次调用，变成一段连续的任务链。 过去，一次推理就是“回答一个问题”：请求进来，模型算一遍，Token返回，结束。现在，智能体要“持续干活”：为了完成一个任务，它一遍遍调用模型，先规划、再搜索、再调用工具、再读取结果，上下文随之越积越长，并且每一次调用模型，都需要输入完整的历史上下文。 推理系统要面对的，从一次次独立的计算，变成了一段连续的任务链。 负载的形态变了，计算压力也随之发生变化。213:1的输入输出比例意味着，在智能体场景里，大量历史信息会随着每轮调用反复进入模型，真正新增的内容反而只占很小一部分。 这些负载高度集中在三种模式上：多轮复用与追加、子智能体分叉，以及工具循环与重试。 三种模式叠在一起，数据的结构“更像一棵树”：用户只和智能体对话了几轮，智能体后端却已经和模型交互了几十轮，到后来90%以上的Token，都花在了历史上下文的累积上，真正需要重新计算的只是一小段。 据SemiAnalysis的报告， 智能体现在已经贡献了约70%的推理流量。 负载变了，推理系统的优化目标也要随之变化。这正是 SGLang这类开源推理框架 多年在做的事：既然大量Token是在重复计算同一个上下文，那就想办法 让它“复用”，而不是重算 。 SGLang最早提出的RadixAttention，用一个前缀数来查找KV Cache，让共享前缀的Request能够通过前缀数快速查找到已经计算好的KV Cache，并进行复用；显存放不下时，再用HiCache把缓存下沉到内存甚至SSD，把上下文拉得更长。 这种变化的效果是实打实的。王书文现场给出的实测数据显示，早期缓存命中率只有10%至30%，接入跨实例存储后，可以 提升至80%至90% ，首Token延迟也随之明显下降。 从回答一个问题到持续干活，推理侧的核心矛盾，从算得快变成了少重复算。理解了这