云基础设施厂商 Modal 近日公开了其为编码 Agent 场景提供大模型推理服务的技术实践，服务对象是万亿参数级别的 Kimi K2.6 模型。该场景对推理系统的吞吐与延迟提出了较高要求，Modal 围绕这一负载特征进行了针对性优化。

根据 Modal 披露的数据，优化完成后，单个推理副本的每用户性能提升至原来的 2.8 倍，副本整体吞吐则提升至 5.6 倍。在服务规模上，单个服务每天处理的 token 量已达到数千亿级别。

编码 Agent 的推理负载与常规对话场景存在差异，通常涉及更长的上下文、更频繁的工具调用与多轮交互，这使单位副本的资源效率成为服务成本的关键变量。Modal 此次公布的优化结果，反映了其在万亿参数模型推理调度与资源利用方面的工程能力。

对于依赖编码 Agent 的开发者与企业而言，推理效率的提升直接关系到服务的响应速度与单位成本。Modal 此次公开的实践数据，也为同类大规模模型推理服务的性能优化提供了可参考的样本。