← Browser AI From First Principles

解析成功的 Promise 不是正确的答案

把运行时成功与结构有效性、语义正确性与功能成功分开,然后把行为评估放在浏览器 AI 轨迹之旁。

下面的代码只有一种成功的定义:

try {
  const output = await session.prompt(input);
  show(output);
} catch (error) {
  showFailure(error);
}

如果 promise resolve,界面就显示结果。

对于返回值就是权威的确定性查找,这足够了。对于一个可能返回流畅、格式良好却错误的文本的概率性系统,这不够。

一个 resolve 的 promise 证明某次操作按照运行时契约完成了。它不证明该功能完成了本职工作。


1. 成功有层次

一次浏览器 AI 操作可以通过上一层、却在下一层失败:

层 问题 失败例子
操作 API 完成了吗? 会话创建被拒绝
结构 应用能消费该结果吗? 无效 JSON
语义 结果保留了必需的含义吗? 摘要漏掉一条警告
功能 面向用户的任务成功了吗? 正确文本显示在错误位置
权威性 该结果被允许造成这个效果吗? 草稿未经批准被发出

这些不是相互竞争的定义。它们构成一条验证流水线。

运行时完成
      ↓
结构验证
      ↓
语义验证
      ↓
功能政策
      ↓
经授权的效果

系统应当在每个边界保留该结果。


2. 流畅的输出不是正确性的证据

考虑前面引入的摘要 fixture。它保护一个区分:

浏览器拥有模型生命周期
应用拥有功能行为

一段摘要可以合语法、简短且有说服力,同时把这些职责坍缩成一个主张。promise 的 resolve 检测不到这个变化。

同理,一次改写可以变得更清楚,却把 “must” 弱化成 “may”。一次翻译可以听起来自然,却颠倒了行为者。语言检测器可以返回一个完全有效的带排序数组,而它的第一候选项是错的。

这个失败属于功能契约,不属于传输。


3. 断言让契约变得可执行

Browser AI Observatory 的 fixture 把确定性检查与人工细则组合起来:

assertions: [
  { kind: "contains", value: "browser" },
  { kind: "contains", value: "application" },
  {
    kind: "custom",
    rubric: "Do not claim local execution is automatically private or faster."
  }
]

自动检查便宜且可复现。细则保护的是一项子串匹配无法诚实评估的语义主张。

评估器为单项检查返回三种状态:

  • passed: true;
  • passed: false;
  • passed: null,需要人工评审。

它不把"无法自动检查"转换成通过。


4. 检查可能因为错误的原因通过

假设一条断言搜索 browser。这个输出会通过:

The browser has nothing to do with model management.

必需的词出现了,而主张是反的。

词面断言对狭窄的不变式有用,例如必需的键、产品名与被禁止的短语。它们不应被呈现为语义裁判。

每条断言都有它的作用域:

{
  "kind": "contains",
  "value": "browser",
  "claim": "required term appears",
  "doesNotClaim": "the surrounding statement is correct"
}

当每个度量都声明它不确立什么时,评估就变得更可信。


5. 分别保留输出与判断

一条评估事件应当引用提示轨迹,而不是重写它:

{
  "type": "fixture.evaluated",
  "correlation": {
    "sessionId": "session-7",
    "traceId": "prompt-12"
  },
  "data": {
    "fixtureId": "prompt-session-accounting",
    "passed": true,
    "automaticChecks": 4,
    "humanChecks": 1
  }
}

之后的人工评审可以追加另一条判断,附带其评审者、细则版本与决策。它不应当改动生成的原始输出,也不应当假装是自动评估器做出了后来的决策。

这种分离使分歧与重新评估成为可能。


6. 失败、拒绝与弃权各不相同

运行时可能在产出输出之前失败。验证器可以拒绝已完成的输出。该功能还可能因为证据不足而弃权。

switch (result.outcome) {
  case "runtime-failed":
    return showRetryOrFallback(result.error);
  case "invalid":
    return showRejectedOutput(result.reasons);
  case "abstained":
    return askForMoreInformation(result.reason);
  case "accepted":
    return commitFeatureResult(result.value);
}

把这四种都坍缩成"AI 失败了"会妨碍诊断。把所有完成的调用都坍缩成"AI 成功了"更糟。

弃权可以是正确的功能结果。一个拒绝从两个含糊字符里猜测的语言检测器,可能比一个总是选择某种语言的检测器表现得更好。


7. 验证有自己的延迟与失败模式

如果一个功能先执行模型生成、再执行验证,用户可见的延迟是:

$$ L_{feature} = L_{generation} + L_{validation} + L_{commit} $$
验证可能涉及确定性代码、另一个模型、用户评审或一个领域工具。每一样都增加成本,也可能失败。

因此轨迹应当在 feature.validation.finished 之前记录 prompt.finished。否则一个缓慢的验证器可能被误认为缓慢的推理。

验证器本身也必须受约束。把私密的本地输出悄悄发给一个远程裁判,会抵消当初促成端侧推理的数据路由属性。


8. 先用领域不变式,再用通用质量分数

像 “helpfulness: 0.86” 这样的通用分数很难解读。功能专属的不变式更有可操作性:

  • 每个被引用的来源都存在;
  • 日期与输入相符;
  • 否定被保留;
  • 没有主张新的权限;
  • 必需字段可解析;
  • 不确定的语言结果选择弃权;
  • 改写不改变任何受保护术语。

这些检查不完整,但失败会解释是哪里坏了。

最强的评估器往往是下游的确定性系统。如果生成的代码必须编译,就编译它。如果一个工具参数指名了某个文件,就验证该文件在允许的作用域内。如果一段摘要喂给一个决策,就测试该决策所依赖的受保护事实。


9. 人工评审需要一个可见的问题

「这样看起来可以吗?」不构成一份细则。

有用的人工检查会指名那个决策:

改写是否保留了"插桩开始前用户必须授予权限"这一点?

[是] [否] [不清楚]

评审者应当看到输入、输出、受保护的主张与相关上下文。他们不应需要推断 fixture 作者的意图。

人工判断仍然是易错的。给细则做版本控制并保留 Unclear,让那份不确定性变得可见。


10. 调试器必须显示两条时间线

操作事件回答跑了什么:

检视 → 创建 → 提示 → 分片 → 完成

评估事件回答通过了什么:

解析 → 断言 → 人工细则 → 功能决策

完成后的 Agent Inspector 会按 trace ID 对齐它们。开发者应当能看到:一次请求在 420 毫秒内完成,却因为它改动了一条权限主张而被拒绝。

这比一个绿色的 “200 OK” 与糟糕输出并排出现有用得多。


结论

一个 resolve 的 promise 是一个操作事实。

正确性需要额外的证据:结构有效性、领域不变式、语义评审、功能政策与权威性检查。每一层都可能因不同的原因接受、拒绝或弃权。

Browser AI Observatory 已经把 fixture 评估放在运行时轨迹之旁。下一步是把单个 fixture 变成可重复的功能评估:有代表性的用例、有意义的切片、基线与发布门禁。


参考与延伸阅读

  1. Chrome for Developers, The Prompt API.
  2. Chrome for Developers, Built-in AI APIs.
  3. NIST, Artificial Intelligence Risk Management Framework.