Anthropic 推出 message threads 公测,智能体长会话首 token 延迟有望缩短
摘要
Anthropic 在 Claude Platform 上线 message threads 公测功能。该功能允许智能体每轮仅发送新增消息,无需重发完整对话历史,从而缩短首 token 时间,面向长会话智能体场景优化响应延迟。
Anthropic 近日在 Claude Platform 上开放了一项名为 message threads 的功能公测,目标直指长会话智能体在响应速度上的痛点。
按照官方披露的机制,启用该功能后,智能体在每一轮交互中只需提交新增的消息内容,而不必像以往那样把整段对话历史重新发送一遍。这一变化直接作用于请求链路的起点,减少了每轮需要处理的数据量。
由此带来的直接效果是首 token 时间的缩短,也就是用户从发起请求到看到模型输出第一个 token 之间的等待被压缩。对于需要多轮往返、上下文不断累积的智能体应用而言,这一环节的耗时往往随会话增长而放大。
目前该功能处于公测阶段,落地平台为 Claude Platform。对于构建长会话智能体的开发者来说,message threads 提供了一种在不改变交互逻辑的前提下降低延迟的选项,其实际表现仍有待公测期间的进一步验证。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗