谷歌11月19日在Gemini API推出工具检索(Tool Retrieval),以预览形式进入Interactions API。功能本身不另收费,但模型临时加载的每份工具说明,仍按输入词元计费。
问题出在智能体连接的工具越来越多。谷歌说,一个智能体连着几十甚至上百个工具时,每次请求都附上全部工具的完整参数结构,会推高输入词元、增加延迟,候选越多,模型选对工具也越难。参数结构可以理解为工具的填表说明:要传哪些字段、什么类型、哪些必填。
模型先看目录,用到时再取说明书
开启方式是在请求中加入一个tool_search工具,并给想暂缓加载的工具设置defer_loading为true。模型仍能看到每个被暂缓工具的名称和描述,知道有哪些工具可用;参数结构则留在上下文之外。模型需要某个工具时按名称请求,API加载完整结构,模型再发出函数调用,三步都在同一次请求中完成。
谷歌给的示例是一笔退款。用户说订单A-1042到货损坏,要求退款40美元,工具库里除了issue_refund,还有50多个被暂缓的函数。在一次API调用里,模型先搜索issue_refund,API载入它的参数结构,模型随后生成带订单号和金额的函数调用。之后与普通函数调用相同:开发者自己的代码执行退款,再把结果回传给模型。也就是说,模型只负责选出工具、填好参数,实际动钱的那一步仍在开发者的系统里。
三个步骤都记录在interaction.steps里,开发者能看到模型考虑过哪些工具。工具名或描述写得含糊、模型找错工具时,这份记录可以用来排查。谷歌建议把最常用的工具保持预先加载,只把使用频率低的长尾工具设为暂缓。
服务端检索不需要开发者建索引或托管,搜索由Gemini在服务器上完成,代码改动只有新增的工具和暂缓标记。谷歌还称,这项功能与前缀缓存兼容:被暂缓的结构不放在提示开头,模型加载的结构追加在对话后部,每轮对话的缓存前缀因此保持不变。
远程MCP服务器也能接入。给mcp_server工具设置defer_loading为true,这个服务器暴露的所有工具都会按需加载,开发者不必逐个列出。MCP是让模型连接外部工具和数据源的一种协议,一个服务器往往带着成组工具。
自建检索要多一次往返
已有自家工具注册表、向量索引或按用户权限过滤工具的团队,可以把tool_search声明为在客户端执行,自行定义搜索参数。代价是每次搜索多一次往返,因为查找由开发者的应用完成。好处是工具不必预先声明:用户在对话中途接入一个新的集成,应用可以当场把对应工具交给模型。
计费规则写得很清楚。工具检索本身不另收费,输入和输出词元按所调用模型的标准费率计算;开启tool_search会增加一小段固定的输入词元;模型加载的每份参数结构,在此后的对话中都按输入计费,与一开始就声明的工具一样。
由此看,省不省钱取决于一道减法:从未加载的结构省下的词元,要多于检索本身的固定开销和被加载结构的费用。谷歌称大型工具库通常属于省钱的一边,同时要求开发者用自己的实际流量测算。按这条规则推算,工具很少、每次请求都要用到大部分工具的应用,未必能减少账单。
适用范围上,工具检索支持Gemini 3.6及之后的模型,包括全部Gemini 4模型,限于Interactions API。公告没有给出具体的词元节省比例、延迟改善数字,也没有公布工具选择准确率的测试结果;这些需要开发者在自己的流量上验证。

