← Browser AI From First Principles

工具选择是行为问题

把浏览器智能体的工具发现、选择、参数构造、执行与结果使用作为分开的行为阶段来评估。

第 18 章构建了一个构造上正确的工具:它的契约被测试、结果被限定、生命周期被追踪。这些都不决定智能体是否把它用好。

一旦模型能看到多项能力,结果就取决于一条行为流水线:

发现 → 选择 → 参数构造 → 准入 → 执行 → 结果使用

一个孤零零的"任务通过"分数无法告诉你哪个阶段失败了。第 13 章针对模型输出提出过这个论证:resolve 的 promise 不是正确的答案。同样的分层适用于工具使用,只是阶段更多、利害更高。


1. 发现在选择之前

一个从未进入智能体有效上下文的工具无法被选择,而它的缺席很容易被误读为一次推理失败。对每次运行,记录:

  • 页面注册的工具;
  • 过滤后对智能体可见的工具;
  • 被用户或开发者政策移除的工具;
  • 因为达到列表上限而被省略的工具;
  • 每个工具的描述与 origin;
  • 有效的工具列表大小。

工具列表的压力是真实的。从五个操作中选择的智能体,面临的问题不同于从五百个中选择的:更多路由含糊性、推理开始前消耗更多上下文、一条有说服力的描述有更大空间占据主导。列表的大小是一个变量,不是常量。


2. 选择需要负面用例

如果套件中每个 fixture 都要求一次工具调用,评估就是在奖励不必要的行动,而且什么也教不会克制。一个工具选择套件需要以下正确行为的用例:

  • 调用 search_book;
  • 改调用 get_chapter;
  • 调用一次更狭窄的搜索;
  • 就一个缺失细节询问用户;
  • 完全不用工具;
  • 拒绝一项被禁止的动作;
  • 在空结果之后停止,而不是重试或捏造。

第 19 章的套件包含所有这些。三个 fixture 期望一个特定工具;一个期望一个澄清性问题;一个期望不带工具的直白回答;一个期望拒绝一项未授权的 publish_note;一个期望智能体在搜索一无所获后停止。


3. 含糊的边界测的是接口,不是模型

引入受控的竞争者:

search_book             — 全部已注册章节
search_current_chapter  — 仅本章
search_site             — 更广的站点,在本书索引之外

目的不是欺骗模型。而是要弄清能力边界是否可理解。如果一个智能体在任务明显只关乎某章时反复搜索整本书,那是关于工具的证据,而修复属于接口修复:

  • 重命名它们,让作用域出现在名字里;
  • 缩窄其中一个,让重叠消失;
  • 合并两个没人能分辨的;
  • 重写描述,让它们用于区分而非宣传;
  • 减少这一类任务所暴露的工具集。

只会产出提示词微调的评估,错过了一半价值。第 19 章的实验室在三份元数据配置档下运行每个 fixture——清晰的、重叠的,以及一条刻意有说服力的 search_site 描述——于是一次选择偏移可以归因于措辞,而不是靠猜。


4. 参数需要语义检查,不只是 schema 检查

schema 有效的参数仍可能是错的。把这些问题分开:

问题 失败例子
语法 / schema 工具封顶 10 时的 limit: 11
语义相关性 与任务不匹配的查询词
作用域 任务指名了某章却搜索整本书
效率 一个结果就能回答时的 limit: 10
授权 指名一个被政策拒绝的工具
资源成本 每次调用都拉满摘录预算的查询

limit: 10 是 schema 有效的,而且常常浪费。一个章节标识可能解析成功却指名了错误的书。参数评估保护相关性、作用域、成本与权威性——形状检查看不到的那些东西。


5. 成功的调用不是有依据的答案

一次工具调用的结果是一个不受信输入。它可能过期、可能是应用错误、可能包含敌意文本。执行之后,评估模型是否:

  • 使用实际返回的内容,而不是它先入为主的信念;
  • 归因或引用它所使用的具体结果;
  • 在结果为空时停止,而不是一边暗示搜索成功、一边用想象填补空白;
  • 区分工具失败(“搜索出错了”)与没有证据(“搜索什么也没找到”);
  • 不捏造语料中并不存在的内容。

第 19 章的实验室把这作为执行之后的第二次决策、对照其自己的 schema 来评估:usedToolResult、citedChapters,以及 answer、clarify、stop、refuse、not-applicable 之一的动作。有一个样本在空结果之后刻意回答"这本书讨论了这个话题"——这正是该度量存在的理由所要捕捉的失败。


6. 独立地为各阶段打分

一条轨迹产出多个度量,把它们折叠成一个"智能体分数"会毁掉诊断:

阶段 度量
发现 所需工具可见吗?
选择 选对工具了吗?
参数 schema 有效且语义恰当吗?
准入 政策决策正确吗?
执行 工具完成了吗?
结果使用 最终答案基于该结果吗?
— 不必要的工具使用率
— 弃权质量

一个智能体可能带着错误的章节号选对了工具。另一个可能完美地调用了它、却无视其返回。第三个可能在正确做法是提个问题的地方调用了工具。这些需要不同的修复,而只有阶段级度量指向正确的那个。


7. 跨配置比较行为

这是第四部分的 worker 架构重新连接的地方。本地协调器可以把同一批工具选择 fixture 发给多个浏览器 worker——不同的 Chrome 构建、不同的模型配置——每个结果携带其 worker 来源、其被发现的工具集与其完整的决策轨迹。

配对运行让我们在发生变化时提出精确的问题:

  • 不必要的工具使用上升了吗?
  • 正确选择下降了吗?
  • 无效参数率变化了吗?
  • 弃权质量变化了吗?
  • 结果依据性变化了吗?
  • 延迟与上下文成本怎么样了?

比较发生变化的用例,远比比较最终散文信息丰富。一次浏览器更新让每个答案看起来都不错、却把不必要的工具使用率翻倍,这是一次散文比较会错过的回归。


8. 决策轨迹

Agent Inspector 应当把一次完整的工具决策重构为一个序列:

观察到的工具集
    → 提议的候选
    → 生成的参数
    → 归一化的参数
    → 政策决策
    → 工具执行
    → 结果
    → 最终答案

每次转换携带一个关联 ID、一个时间戳与相关版本——政策版本、套件版本、schema 哈希。被拒绝的参数与产生它的候选并排保持可见。当一次运行失败时,开发者应当能指着一根箭头说出那个阶段。


9. 运行工具选择评估器

从第 19 章选择 Run with Browser AI 以打开:

/tools/ai/browser-ai-from-first-principles/19-chapter/

评估器向 Prompt API 发送一份显式目录快照与一个 schema 约束的选择决策请求,然后是第二个结果使用决策请求。它在三份元数据配置档下分别对发现、选择、参数、准入、执行与结果使用打分,并能回放预先录制的候选样本,好让打分逻辑本身也可以被检查。

这确立了什么:阶段级打分已实现、负面用例存在、元数据配置档使措辞效应可测量。什么仍是被规定而非被观察的:这是一次受控的路由试验。目录被显式交给模型;模型返回 schema 约束的 JSON。它不是一个自主浏览器智能体自行发现了第 18 章 WebMCP 注册的证据——search_site 在实验室中标为不受支持、publish_note 被拒绝,这些都没有对着活跃的智能体运行时行使过。记录中的轨迹仍是 Prompt API 生命周期。


结论

工具选择不是一个决策。它是发现、选择、参数构造、准入、执行与结果使用,每个阶段因自己的原因失败,需要自己的度量。

两个工具之间持续的混淆是一个关于接口的事实,修复属于接口。下一章加入敌意内容与有后果的能力,在那里一个选错的阶段不再只是一次糟糕答案,而成为一次安全失败。


参考与延伸阅读

  1. Chrome for Developers, WebMCP.
  2. Model Context Protocol, Specification.
  3. OWASP, LLM Prompt Injection Prevention Cheat Sheet.