Google在Gemini API预览Tool Retrieval,按需加载工具参数以压缩输入token
摘要
Google在Gemini API的Interactions API中以预览形式推出Tool Retrieval,允许智能体按需加载工具参数schema,替代每次请求发送完整工具库的做法,旨在减少输入token消耗,并在工具数量扩大时维持选择准确性。
Google正在为Gemini API的智能体工具调用引入新的加载机制。该公司在Interactions API中以预览形式上线Tool Retrieval,改变了此前每次请求都需携带完整工具库的传输方式。
按照这一设计,智能体不再一次性接收全部工具的参数schema,而是根据实际需要按需加载。Google方面表示,这一机制的目标是减少输入token的消耗。
工具数量持续扩张是智能体落地中的现实问题。完整工具库随请求反复发送,既推高token成本,也可能影响模型在众多工具中的选择表现。Tool Retrieval试图在工具规模扩大时保持选择的准确性。
目前该功能处于预览阶段,面向Gemini API的Interactions API用户开放。对于构建多工具智能体的开发者而言,这一变化直接关系到请求体积与调用成本的优化空间。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗