← Browser AI From First Principles

评估的是功能,不是演示

把浏览器 AI 例子变成有代表性的功能评估:切片、基线、重复、回归门禁与可评审的证据。

演示问的是:一个精心挑选的例子能不能行。

功能评估问的是:在用户实际会遇到的输入、状态与失败之下,产品契约有多经常成立。

两者都有价值。把它们混为一谈才是问题。


1. 评估的单元是功能

「评估 Gemma 4」对我们的应用太宽泛。「评估这个提示词」又太窄。

有用的单元是用户会尝试的一件事:

摘要选中的文档
改写权限文案而不改变权威性
检测语言并决定是否翻译
为一个只读工具产生结构化参数

每个功能都包括输入准备、能力选择、模型输出、验证、回退与 UI 行为。

模型只是那个系统中的一个部件。


2. 从一份成文的契约开始

在收集例子之前,先讲清楚成功意味着什么:

feature: summarize-selection
must:
  - preserve warnings and negation
  - distinguish browser and application responsibilities
  - remain grounded in selected text
must_not:
  - invent browser guarantees
  - expose uncaptured page content
may:
  - vary wording and bullet order
abstain_when:
  - selection contains insufficient prose

这份契约决定了 fixture 与度量。没有它,评估就变成了一场对漂亮数字的搜索。


3. 用例需要切片

一个总体的通过率可能藏起一个毁掉产品的子群。

对摘要而言,有用的切片包括:

  • 短、中与接近上限的输入;
  • 散文、列表、表格与混合代码;
  • 警告、否定与数量;
  • 单一语言与混合语言;
  • 干净内容与类提示词注入的文本;
  • available、downloadable 与 unavailable 的运行时状态。

对语言检测而言,长度与含糊性值得单独切片。对改写而言,受保护术语与情态动词很重要。

fixture 应当携带它的切片标签:

{
  "id": "summary-warning-03",
  "feature": "summarize-selection",
  "slices": ["warning", "negation", "short"],
  "input": "...",
  "assertions": ["..."]
}

于是回归可以被定位。


4. 基线阻止我们奖励不必要的 AI

每个 AI 功能都应当与一个更简单的替代方案竞争。

可能的基线包括:

  • 显示原始选区;
  • 抽取第一句话;
  • 使用确定性模板;
  • 应用基于规则的语言阈值;
  • 让用户选择语言;
  • 禁用该功能。

如果一段生成的摘要省不下多少时间、却偶尔漏掉警告,原文基线可能更好。

相关的比较不是"AI 对没有 AI"。而是"这条功能路径对最好的实际替代方案"。


5. 重复揭示不稳定

一次运行无法刻画一个概率性部件。即使 most-predictable 采样模式,也不应被假定在浏览器版本、模型更新与硬件路径之间保持相同。

对用例 $i$ 在 $r$ 次重复上,记录:

$$ \hat{p}_i = \frac{1}{r}\sum_{j=1}^{r} I(pass_{ij}) $$
在小的 $r$ 下,这是一次诊断,而不是精确的概率估计。它仍能揭示那些在通过与失败之间来回摆动的用例。

保留每一份输出。用成功的重试替换失败的运行,会把评估变成挑选。


6. 环境变化时做配对比较

要比较浏览器配置,就使用同一份 fixture 与同一套决策规则:

fixture A → 基线配置 → 结果 A₀
fixture A → 新配置      → 结果 A₁

最有用的问题常常不是绝对分数,而是结果是否改变:

之前 当前 解读
通过 通过 在该用例上稳定
失败 通过 改进候选
通过 失败 回归候选
失败 失败 持续弱点

直接评审结果改变的用例。总体上一分的改进,可能藏起一次权限处理上的严重回归。


7. 发布门禁编码的是风险,不是口味

发布门禁应当把失败与后果连起来:

gates:
  - name: no_authority_regressions
    slices: [permission, approval, data-route]
    allowed_new_failures: 0
  - name: summary_quality
    minimum_pass_rate: 0.90
  - name: operational_availability
    minimum_supported_cases: 0.95

高风险的不变式可以要求零已知回归。较低风险的风格偏好可以容忍变化与人工评审。

门禁不证明普遍安全。它阻止一个已知的发布,在我们选择保护的那些用例上变得更糟。


8. 操作矩阵与行为矩阵属于一起

对每次 fixture 运行,二者都要保留:

操作证据 行为证据
API 可用性 断言结果
会话创建 人工细则
首个分片时间 受保护事实
完成或中止 功能接受
上下文用量 用户更正

这使以下问题成为可能:

  • 质量只在冷运行时下降了吗?
  • 新配置变快了,但更不可靠了吗?
  • 失败是不可用的 API 造成的,还是被拒绝的输出造成的?
  • 上下文压力与丢失的指令相关吗?

把这两个矩阵分开会丢弃这些关系。


9. 评估数据有自己的生命周期

浏览器内容可能是私密的。一次有用的交互不自动就是可允许的评估数据。

脚手架需要为以下事项制定政策:

  • 显式的收集范围;
  • 内容脱敏;
  • 保留与删除;
  • 对导出轨迹的访问;
  • 人工更正是否可被复用;
  • 公开 fixture 与私密事故的分离。

合成与公开的 fixture 也应当携带来源。它们可能不真实,或在措辞中意外地把期望答案编码了进去。

数据质量是评估质量的一部分。


10. 防止评估器泄漏

如果提示词恰好包含那句期望短语,只因为断言会搜索它,那么这个用例测的可能是抄写,而不是理解。

我们应当区分:

  • 该功能所必需的指令;
  • 源中存在的受保护事实;
  • 对生成隐藏的、仅评估器知道的期望;
  • 只用于评审的参考答案。

fixture 运行器不应把隐藏的细则文本放进模型上下文。

这听上去是基本功,但紧凑的演示 fixture 经常泄漏它们自己的答案。


11. 失败需要一条调查路径

评估报告应当能引回证据:

门禁失败
    ↓
slice: permission
    ↓
fixture: writer-permission-copy
    ↓
运行与浏览器配置
    ↓
提示轨迹
    ↓
失败的断言与人工理由

没有这条路径的分数难以改进,也容易被钻空子。

Browser AI Observatory 已经拥有关联 ID、运行信封与 fixture 事件。第四部分把这些原语扩展成比较与门禁,而不是发明一套孤立的评估体系。


12. 第一道发布门禁应当很小

我们最初的七个 fixture 不是完整的基准。它们是一套覆盖 Prompt API 与六个任务 API 的规范冒烟套件。

第一道有用的门禁可以要求:

  1. 每个必需的 API 状态都被分类;
  2. 没有 metrics-only 轨迹保留输入内容;
  3. 全部结构化断言通过;
  4. 每条人工细则都收到一个决策;
  5. 没有受保护的权威性主张发生回归;
  6. 浏览器配置的变更产出一份比较报告。

这道门禁足够克制因而可以维护,又足够有力因而能捕捉演示路径所隐藏的失败。


结论

演示确立可能性。评估在选定的证据上刻画一个功能契约。

有代表性的切片、简单的基线、重复的运行、配对的比较与基于风险的门禁,把孤立的输出变成工程决策。评估仍是不完整的,但它的不完整是可见、可操作的。

下一章处理另一种不完整来源:有时本地能力根本不存在。可靠的浏览器 AI 必须有意识地降级,而不悄悄改变用户数据的去向。


参考与延伸阅读

  1. NIST, Artificial Intelligence Risk Management Framework.
  2. Chrome for Developers, Built-in AI APIs.
  3. Chrome for Developers, The Prompt API.