川观智库研究员 刘成婧

近日，中国联通研究院联合北京航空航天大学、上海交通大学等单位，共同发布《Token驱动的大模型推理效能优化技术白皮书》（以下简称“白皮书”）。白皮书认为，词元（Token）正从单纯的计费单位，逐步升级为衡量推理负载、核算服务成本、评估业务产出的重要尺度；围绕词元全生命周期开展系统性优化，将成为提升大模型服务效率、扩大应用边界的关键举措。

截至今年3月，我国日均词元调用量已突破140万亿，较2024年初扩大1400倍以上。在传统对话应用中，单用户日均词元消耗量处于十万至百万量级；而智能体范式下，单用户日均词元消耗量可达千万至亿级。白皮书引述IDC预测报告数据，全球活跃智能体数量将从2025年的2860万增长至2030年的22.16亿，年复合增长率139%；智能体年执行任务数将从440亿次增至415万亿次，年复合增长率高达524%。智能体的多轮交互、工具链调用和超长上下文继承等特点，使推理链路被显著拉长，传统依靠硬件扩容的粗放模式已难以适配海量词元推理诉求。

从技术范式上看，推理部署架构同步迁移，PD分离正在成为主流。其中，“P”即大模型推理的预填充（Prefill）阶段，负责理解问题、处理输入，并生成首个词元，计算密集；“D”即解码（Decode）阶段，负责生成回答，逐字生成后续内容，单步计算量小但显存访问频繁，属于访存密集型负载。两个阶段特性迥异，在传统推理部署架构中，两类任务资源争抢严重。因此，将两类任务拆分到独立算力池进行分别调度，已成为行业主流方向。

白皮书围绕词元全生命周期提出了四层优化体系，从底层算力到上层运营层层递进。在算力编排调度层，通过动态配比和弹性扩缩容，让算力不空转、不挤兑，解决算力合理高效分配的问题；在单轮推理优化层，采用算子融合、多级缓存和投机解码等技术，降低单个词元的生产时延；在多轮智能体优化层，关注智能体连续执行多轮任务时的效率，减少长链路中的等待浪费；在Token商业化运营层，建立计量、计费与预算闭环，把词元当成可运营的资源来管理。

白皮书认为，推理效能优化的目标已从单一指标转向多维平衡，推理效能评估需覆盖时延、吞吐、缓存、成本和稳定性五大维度，其目标不是追求某一项指标的最优，而是在五个维度间取得可验证的平衡。

展望未来，词元精细化全链路优化与商业化运营将成为大模型服务从“可调用”走向“可运营”的必然路径。随着智能体规模化落地，推理效能优化不再只是技术指标，而是直接决定业务可行边界的核心竞争力，围绕词元生命周期的工程化治理能力，将成为云服务商和企业构建AI基础设施的关键分水岭。

【未经授权，严禁转载！联系电话028-86968276】