← Browser AI From First Principles

会话不是无状态函数

运行一个会话血缘实验室:创建一个 Prompt API 资源、建立共享历史、克隆被测量的状态、分叉两个分支、比较用量,并显式结束二者。

远程模型 API 常常助长一种简单的心智模型:

const answer = await complete(prompt);

输入进去,输出回来。任何对话状态由应用重建并再次发送。

浏览器管理的 Prompt API 会话是另一类对象。它拥有资源、可能保留对话状态、报告有限的输入预算、在某些实现中支持分支,并且应当在其工作完成后被销毁。

正确的抽象不是无状态函数。

它是有生命周期的资源。


1. 可用性不等于就绪

第一个区分出现在提示之前:

API 暴露
    ↓
配置被接受
    ↓
能力可用
    ↓
会话已创建
    ↓
会话就绪
    ↓
提示完成

每次转换都可能独立失败。浏览器可以暴露 LanguageModel,同时报告所请求的配置不可用。它可以报告可用,随后又因为某个选项与活跃运行时不兼容而拒绝会话创建。

我们第一条真实的 Observatory 轨迹让这个区分变得具体。LanguageModel 已暴露,可用性返回 available,会话创建在约 8.2 毫秒内完成。得到的会话报告了 9,216 单位的输入配额、零初始用量,以及对克隆与销毁的支持。

该观察描述的是一台机器上的一次运行。它不确立一个普适的配额或启动时间。

它确立的是:能力状态与会话状态是分别可观测的。


2. 创建确立一份契约

会话在创建时被配置:

const session = await LanguageModel.create({
  samplingMode: "most-predictable",
  expectedInputs: [{ type: "text", languages: ["en"] }],
  expectedOutputs: [{ type: "text", languages: ["en"] }]
});

创建选项不是附带的元数据。它们定义了后续提示运行所依据的契约。

它们可能包括语言期望、采样行为、初始指令、响应约束或多模态声明。因此,同一浏览器能力支撑的两个会话可以有不同行为与不同的上下文消耗。

这就制造了一个可观测性问题。可复现的运行需要这些选项,但选项可能包含初始系统提示或私密示例。

Browser AI Observatory 因此把它的捕获策略应用于创建选项。metrics-only 模式记录它们的键与序列化尺寸。content 模式显式记录它们的值。

这堵上了一个微妙的隐私缺口:对 prompt() 脱敏、却从 create() 导出 initialPrompts,算不上有意义的脱敏。


3. 上下文就是会话状态

在运行时暴露之处,两个属性使状态可见:

console.log(session.inputUsage);
console.log(session.inputQuota);

重要的量是剩余预算:

$$ R_t = Q_t - U_t $$
其中 $Q_t$ 是报告的配额,$U_t$ 是时刻 $t$ 的用量。

Observatory 在每次提示前后各记录一次快照:

{
  "type": "session.snapshot",
  "data": {
    "stage": "after-prompt",
    "session": {
      "inputUsage": 486,
      "inputQuota": 9216,
      "remaining": 8730
    }
  }
}

这个示例形状展示的是测量本身。值 486 在真实的提示轨迹产出它之前只是示意。

我们不应假定用量等于字符数、字节数,或在别处计算的 tokenizer 估计。浏览器的计数器是该会话的操作权威。单独的估计对准入控制仍可能有用,但估计与运行时不一致本身就是证据。


4. 一次对话改变这个资源

假设一个会话收到两个提示:

await session.prompt("My project is called Observatory.");
await session.prompt("What is my project called?");

如果第二个响应用到了第一次交换的信息,那么状态就存在于会话生命周期的某处。应用并没有再次传递第一个提示。

这改变了我们测试浏览器功能的方式。一个提示不能只从它自己的输入来解读。我们需要:

  • 会话标识;
  • 创建配置;
  • 先前的提示与输出(受捕获策略约束);
  • 前后的用量;
  • 该会话是原始的还是克隆的;
  • 浏览器与运行时配置。

没有会话标识,轨迹中看起来相互独立的两次调用,可能实际共享历史。


5. 克隆创建一个实验分支

克隆不只是聊天界面的便利。它从共享的先前状态创建一个受控分支。

const branch = await session.clone();

概念上:

共享历史
     ├── 原始 → 干预 A
     └── 克隆 → 干预 B

这对评估很有价值。我们可以建立一次相同上下文,克隆它,然后比较两个后续提示,而无需回放一段可能非确定性的历史。

Observatory 给克隆分配新的会话标识,同时记录它的父代:

{
  "type": "session.cloned",
  "data": {
    "parentSessionId": "session-a",
    "durationMs": 3.4
  },
  "correlation": {
    "sessionId": "session-b"
  }
}

我们仍需测试活跃实现究竟保留了什么。克隆操作被暴露,不证明每个内部缓存、约束或隐藏状态都按我们想象的方式被复制。


6. 销毁是正确性的一部分

会话应当有一个显式的终点:

session.destroy();

销毁传达应用不再需要该资源。它还创造了一条边界:在此之后,进一步的提示不应被视为有效的续写。

只依赖垃圾回收会模糊这条边界。对象可能变得不可达,但轨迹无法分辨应用是有意结束了会话、泄漏了它,还是在导航期间丢失了引用。

因此调试器记录:

  • 销毁为何发生;
  • 最终用量与配额;
  • 被销毁的会话标识;
  • 会话是被替换、API 变更,还是被操作者结束。

生命周期纪律在扩展中尤其重要,因为一个 DevTools 面板可能横跨多个实验保持打开。

放在一起的可观测生命周期:

阶段 可观测属性 轨迹证据
暴露 全局对象存在、availability() 可调用 能力检视
创建 独立的会话标识、被接受的选项 session.create.finished
就绪 资源存在、用量可计数 会话快照
运行中 请求针对其会话处于活跃状态 prompt.started
已克隆 既有会话的分支 session.cloned
已销毁 显式终点、标识退役 session.destroyed
失败 创建或请求错误被分类 session.create.failed、prompt.finished

7. 会话测试需要不变式

有用的会话测试不止检查文本输出。它可以断言:

  1. 创建产生了独立的会话标识;
  2. 用量在同一会话内不会减少;
  3. 提示完成指的是发起它的那个会话;
  4. 克隆有新身份且记录了父代;
  5. 销毁会话使 Run 控件不可用;
  6. metrics-only 导出不含提示或初始提示文本。

模型的措辞可以变化,而全部生命周期不变式保持稳定。反过来,一个貌似可信的答案可能藏起一个坏掉的生命周期。

操作正确性与行为质量属于同一条轨迹,但它们不是同一个分数。


8. 我们第一次兼容性失败属于会话层

在第一次成功的获取轨迹之后,运行时后来用这条消息拒绝了会话创建:

The sampling options are incompatible with speculative decoding (MTP). Prompt API sessions must specify compatible sampling options, i.e. samplingMode:'most-predictable' or topK:1 or temperature:0.

该错误证明活跃运行时施加了一条采样约束并指名了兼容选项。它不证明投机解码实现的每个细节。

Observatory 现在提供:

samplingMode: "most-predictable"

更大的教训是架构性的:可用性并没有验证完整的会话配置。只有会话创建越过了那条边界。


9. 运行会话血缘实验室

从第 09 章选择 Run with Browser AI 以打开:

/tools/ai/browser-ai-from-first-principles/09-chapter/

这个实验在克隆之后保留两个活跃会话对象。它不会用克隆替换原始引用。这让页面能够对同一段被测量历史的两个后代施加不同的干预。

序列被刻意约束:

  1. 用确切的创建选项检视 LanguageModel;
  2. 创建一个原始会话并记录其初始快照;
  3. 在该会话中确立一个共享事实;
  4. 只在共享历史的提示完成后才克隆;
  5. 在原始上运行干预 A、在克隆上运行干预 B;
  6. 比较身份、血缘、用量与狭窄的输出断言;
  7. 显式销毁两个资源。

共享提示要求会话记住项目代号 Observatory Nine。克隆之后,原始分支收到严格的评审模式,克隆分支收到探索性的评审模式。每个分支都必须报告继承来的代号与它分支专属的干预。

这不是在基准测试 strict 是否比 exploratory 产生更好的散文。fixture 检验的是一个结构性主张:两个会话从共同历史出发、获得了各自独立的身份,之后可以独立演化。

身份与亲缘

克隆获得新的 Observatory 会话标识。其事件把原始会话记录为它的父代:

{
  "type": "session.cloned",
  "data": {
    "apiId": "prompt",
    "parentSessionId": "original-session-id",
    "session": {
      "inputUsage": 84,
      "inputQuota": 9216
    }
  },
  "correlation": {
    "sessionId": "clone-session-id"
  }
}

上面的用量值说明的是事件形状。实时实验室只显示浏览器报告的值。

用量作为会话内不变式

每个分支在干预前后立即各取一次快照。如果两个值都在,自动不变式要求:

$$ U_{after} \ge U_{before} $$
缺失的浏览器计数器保持为 **Not reported**,检查保持为 **Not observed**。实验室从不用提示字符、字节或外部 tokenizer 替代运行时用量。

比较刻意在各会话内部进行。克隆在分叉点可能报告相同、更大或其他取决于实现的用量。在决定哪些不变式跨浏览器版本稳定之前,我们先记录这个事实。

一个动作,两个独立提示

Run A/B branches 控件在每个活跃会话上各启动一个提示。它们可以并发执行,因为实例是独立资源。两次调用接受同一个 abort 信号,让操作者可以停止实验,同时每条轨迹保留自己的会话与提示关联标识。

操作性完成与行为检查保持分开。一个分支可能成功返回,却未能找回继承的代号。反过来,一次措辞变化可能保持了状态,即使一条脆弱的词面断言没有捕捉到它。结果面板暴露这些狭窄检查,而不是把它们变成一个普适的质量分数。

显式销毁

Destroy both 记录每个资源最后的可观测快照、调用 destroy()、把该通道标为已销毁,并禁用进一步的分支执行。因此 UI 区分:

引用从未创建
资源就绪
资源运行中
资源失败
资源被显式销毁

垃圾回收无法提供这种产品级的区分。

回放证明了什么

那份已评审的 9 月 2 日轨迹包含一次成功的会话创建。该会话报告零初始用量、9,216 的配额、克隆支持与销毁支持。它不含完成的提示、session.cloned 事件或 session.destroyed 事件。

回放面板把这些缺失的转换呈现为 Not observed。一个方法被暴露,是"实验可以被尝试"的证据;它不是"该操作已经成功"的证据。

章节专属模块把它的事件发进与先前能力实验室、任务实验室相同的已验证 Observatory 导出。会话标识现在把不断累积的轨迹变成一条血缘,而不是一份扁平的提示列表。


结论

Prompt API 会话是一个被拥有的、有限的、不断演化的资源。

它始于一份配置契约,累积上下文,并可以暴露用量与配额。它可以被克隆成一个实验分支,并应当通过显式销毁结束。

把它当作 complete(prompt) 会藏起上述每一个属性。第 09 章现在让它们变得可执行:一个被测量的资源变成两个可寻址的后代,各自在不同干预下演化,并通过一条可观测的销毁边界结束。

下一章沿着这份有限预算走到它的边界。当上下文窗口接近填满时应用应当做什么?历史的哪些部分必须在压缩中存活?


参考与延伸阅读

  1. Chrome for Developers, The Prompt API.
  2. Chrome for Developers, Get started with built-in AI.
  3. Chrome for Developers, Understand built-in model management in Chrome.