Lightseek 近日在官方博客中公开了名为 TokenSpeed 的 LLM 推理引擎，将其定位为"光速级"推理方案。与通用推理框架不同，该引擎明确聚焦智能体（agentic）工作负载，官方给出的目标相当直接：在保持 vLLM 级别易用性的同时，达到 TensorRT-LLM 级别的性能表现，并成为生产环境中此类负载性能最强的推理引擎。

从已披露的架构看，TokenSpeed 的核心组件之一是调度器，采用 C++ 控制面与 Python 执行面分离的设计。请求生命周期、KV 缓存归属以及重叠时序均被编码为有限状态机，KV 资源的复用安全性则由类型系统在编译期强制保证，这一思路在推理引擎中并不常见。

原文同时列出了内核（Kernel）等其他核心组件，但相关内容在原文中并未展开。对于关注推理基础设施的从业者而言，TokenSpeed 试图在性能与易用性之间寻找新平衡点的方向值得持续跟踪。

目前该项目的代码与更多技术细节可通过 Lightseek 博客及 GitHub 仓库获取，实际性能表现尚待社区验证。