Anthropic为Claude API引入effort动态调节,对话中途可切换投入档位
摘要
Anthropic为Claude API新增Beta功能,开发者可在消息序列中动态调整effort等级,按任务需要改变模型投入程度。该设置通过插入空system消息与output_config.effort实现,无需改动顶层配置且不影响提示缓存,从下一条用户消息起生效。
Anthropic近日为Claude API推出一项Beta功能,允许开发者在对话进行中动态调整模型的effort等级。所谓effort,指的是Claude在回答问题时所投入的功夫档位,开发者可借此在回答充分度、响应速度与使用成本之间做权衡。
与仅影响输出篇幅的常规参数不同,effort的作用范围覆盖模型的思考过程、工具调用以及回答组织等多个环节,对资源投入的调节更为全面。这意味着同一段对话不必始终沿用同一档位,任务性质变化时可随时换挡。
在操作层面,开发者需要在消息序列中插入一条内容为空的system消息,并通过新增的output_config.effort字段设定目标等级。该方式无需改动顶层配置,提示缓存依然可以命中,从而避免额外的配置成本。
生效时机上,该设置不会追溯修改已生成的内容,而是从下一条带有新输入的用户消息开始作用于后续回答。因此开发者需关注调整消息的插入位置以及下一次用户输入出现的时点,以确保档位切换落在预期的任务节点上。
从应用场景看,该能力适合任务强度前后不一的对话。例如前半段用于简单问答、后半段转向复杂分析时,开发者可在任务切换处设定新的努力等级,而无需重新调整顶层配置,为多阶段对话的资源调度提供了更细粒度的控制手段。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗