冷启动、热运行与真实延迟
运行一个延迟分解实验室:在显式的 fresh 或操作者核实的冷协议下,测量能力检视、monitor 回调、会话创建、首个输出、生成、完成、验证与取消。
“本地 AI 更快"不是一次测量。
它把几种不同的等待压缩成一个形容词。浏览器原生功能可以避开网络往返,却仍让用户等待模型获取、进程启动、会话创建、上下文摄入或缓慢的生成。
要理解延迟,我们必须把生命周期拆开。
1. 一个时长藏着几只钟
对一次交互而言,有用的时间戳包括:
| 阶段 | 开始 | 结束 | 用户可见? |
|---|---|---|---|
| 能力检视 | availability() 调用 |
状态返回 | 通常不可见 |
| 获取 | 会话请求需要资源 | 资源就绪 | 是,如果它阻塞 |
| 会话创建 | 调用 create() |
会话返回 | 常常可见 |
| 提示启动 | 调用提示 | 首个分片 | 是 |
| 生成 | 首个分片 | 最后分片 | 是 |
| 验证 | 输出完成 | 功能被接受/拒绝 | 有时可见 |
流式功能的感知等待常常由首个输出时间主导:
2. 第一次真实观察只测到了获取
我们第一条导出的 Chrome 轨迹包含十个事件。它确立了:
LanguageModel已暴露;- 可用性返回
available; - 会话创建在约 8.2 毫秒内完成;
- 会话报告了配额与生命周期能力;
- 没有执行任何提示。
因此该轨迹对提示延迟只字未提。
这听起来显而易见,但它是常见的测量错误。快速的会话构造器不是快速的答案。快速的首个分片不是快速的完成。完成的生成不是成功的功能。
报告中缺失的值是正确的:
| 测量 | 第一条轨迹 |
|---|---|
| 会话创建 | 8.2 ms |
| 首个分片时间 | Not measured |
| 提示总耗时 | Not measured |
| Fixture 结果 | Not measured |
缺失胜过一个从错误事件推断出来的数字。
3. 进度回调不是下载的证明
同一条轨迹包含两个 downloadprogress 回调:
loaded = 0
loaded = 1
它们大约相隔 0.7 毫秒到达,而能力状态当时已经是 available。
回调名来自 API。解读它需要周围的上下文。这组事件序列无法合理地确立那 0.7 毫秒内传输了一份完整的模型资源。
受支持的结论更窄:
会话 monitor 在创建期间发出了获取进度回调。
它可能是在通知监听者一个已完成的资源状态。它可能代表另一个浏览器管理的步骤。没有网络或浏览器内部的证据,Observatory 不应把它重新标注为已下载的字节。
这就是为什么轨迹需要事件,而不是"模型下载成功"之类的散文。
4. 冷与热是操作性定义
“冷"可以指好几件事:
- 模型不在磁盘上;
- 模型已安装但进程未启动;
- 浏览器已重启;
- 会话不存在;
- 操作系统文件缓存为空;
- 加速器上下文不存在。
扩展无法可靠地强制或验证全部这些。
因此我们的运行协议使用显式的操作性标签:
- Download path: 可用性表明在获取且观察到了进度。
- Cold start: 浏览器重启后的第一个会话与提示;模型可能已安装。
- Warm session: 只清空轨迹之后,在同一活跃会话中再次运行相同的提示。
这些标签说明我们做了什么。它们不声称对隐藏缓存的完全控制。
5. 比较路径,而不是孤立的数字
对配对的运行而言,有用的增量包括:
- 浏览器构建与 flag;
- 硬件与供电状态;
- fixture 输入与创建选项;
- 捕获模式;
- 争用的负载;
- 重复次数;
- 会话是复用还是重建。
即便如此,三次重复只产生一个初步估计,不是一条性能定律。
报告使用中位数,因为在小样本中一次启动中断就能主导均值。我们仍应保留每一条原始观察,包括失败与缓慢的离群值。
6. 吞吐需要一个我们守得住的分母
流式产生分片,但分片不是 token。一个实现可能每个分片发一个 token;另一个可能批处理若干;还有一个可能修订或替换累积的文本。
Observatory 可以安全地报告:
- 分片数;
- 输出字符与字节;
- 首个分片时间;
- 总时长;
- 作为接口层近似的字符吞吐。
除非运行时提供可靠的 token 计数,或我们显式标注基于 tokenizer 的估计,否则它不应报告每秒 token。
对首个分片之后的输出字符 $C$ 与生成间隔 $G$:
7. 流式传输改变了取消
长生成创造了取消的机会:
const controller = new AbortController();
const result = session.promptStreaming(input, {
signal: controller.signal
});
stopButton.addEventListener("click", () => controller.abort());
取消延迟也很重要:
用户点击 Stop
↓
请求中止
↓
流结束
↓
观察会话状态
我们需要测量:部分输出是否仍然可见、会话是否可复用,以及中止操作之后用量是否增加。
当用户停止工作时,AbortError 是一个预期结果。它不应被计为模型失败。
8. 对功能边界做基准测试
本地生成可以很快,而面向用户的功能仍然很慢,原因包括:
- DOM 抽取;
- 文档切分;
- 提示构造;
- 模型获取;
- 输出解析;
- 验证;
- 渲染;
- 应用侧持久化。
Observatory 的直接提示轨迹测量运行时边界。其应用 SDK 可以补上周围的功能事件。
选区已捕获
↓
上下文已准备
↓
提示已开始
↓
首个分片
↓
提示已完成
↓
验证已完成
↓
UI 已提交
只有到那时,我们才能解释用户在等什么。
9. 模型变更需要配对实验
那个驱动性实验在不同浏览器管理配置下比较同一个应用边界。
Observatory 把模型/配置标签记录为操作者提供,因为 API 不会向扩展背书模型身份。因此报告可以说:
在 Chrome 152.0.7977.65 上操作者记录的 “Gemma 4 flag enabled” 配置下,本次运行产生了以下测量。
它不能说:
Chrome 证明了这段输出由 Gemma 4 生成。
这个区分可能显得谨慎,但正是它让之后的比较可信。
10. 下一个语料库
最小有用的性能语料库现在已经定义:
- 一次冷的 Prompt fixture 运行;
- 一次相同的热会话运行;
- 一次克隆会话续写;
- 一次显式取消;
- 我们发布的任何延迟主张都要有三次重复;
- 比较配置下的同一张矩阵;
- 原始失败与成功运行并排保留。
本章现在可以解释测量系统。其数值比较保持开放,直到那些轨迹存在。
这不是弱点。这是一条可见的实验边界。
11. 运行延迟分解实验室
从第 11 章选择 Run with Browser AI 以打开:
/tools/ai/browser-ai-from-first-principles/11-chapter/
实验室给每只钟自己的字段,并保留每一条原始观察。工作流是:
- 提供一个操作者配置标签;
- 选择一个诚实的首路径协议;
- 检视能力可用性;
- 创建一个被测量的会话;
- 运行固定的首路径 fixture;
- 在同一热会话中重复相同的 fixture;
- 把取消作为单独的协议运行;
- 显式销毁会话。
默认协议是 fresh session。它只表示页面在当前浏览器进程中创建了新会话。隐藏的模型、进程、操作系统与加速器缓存仍属未知。
另一种 cold start · operator verified restart 不由 JavaScript 推断。操作者只有在手动重启 Chrome 之后的第一个会话与提示时才应选择它。所选协议与配置标签随创建与提示事件一同记录。会话存在期间两个控件均被锁定,使一个资源无法在生命周期中途改变实验身份。
固定 fixture
首路径与热测量使用相同的创建选项与确切提示:
Reply with exactly this sentence and nothing else: Browser AI timing fixture complete.
这条词面断言刻意狭窄。它确认被计时的操作返回了预期的 fixture,而不是一次拒绝或无关响应。它不会把延迟运行变成一次通用质量评估。
首路径控件记录一次观察。热控件在同一活跃会话中按配置次数顺序运行。三次重复是显示初始中位数的默认下限。表格把失败与离群值与成功行并排保留。
重复的热提示仍是有状态的。它们的上下文在增长,隐藏缓存仍不受控。实验室暴露的是一份可复现的应用协议;它不声称硬件隔离的模型基准。
分解每次提示
对流式操作,模块记录:
- 会话创建时长(当该行是首路径运行时);
- 从提示开始到首个分片的时间;
- 从首个分片到流完成的时间;
- 提示总时长;
- 验证时长;
- 分片数;
- 输出字符与字节;
- 在观察到的生成间隔上的字符吞吐;
- 结果与会话标识。
对非流式操作,首个输出随完整结果一同到达。总时间仍可测量。分开的生成间隔与字符吞吐保持 Not measured,因为没有被独立观察到的首个分片边界。
分片数绝不会被改标为 token 数。
把 monitor 回调当作观察
创建期间,UI 显示回调数与首尾回调之间的经过时长。事件字段保留 API 报告的 loaded 与 total 值。
面板刻意说 monitor callbacks,而不是 model bytes downloaded。一个从零到一的序列可以描述获取状态,而不确立一次网络传输、资源尺寸或缓存未命中。
从请求开始测量取消
取消探针使用一个刻意很长的 fixture,以及一个可编辑的自动中止延迟。操作者也可以按下 Stop。
轨迹记录:
提示已开始
首个分片(如有)
请求中止
流已结束
操作后会话快照
只有当中止请求之后跟着一个 aborted 结果时,才报告取消延迟。如果生成在计时器之前完成,该行显示 completed-before-abort。如果完成发生在中止请求之后却没有 AbortError,请求到完成的间隔可以作为诊断保留,但它不作为取消延迟呈现。
部分输出保持可见,并按字符与字节测量。会话保持显式可寻址,使之后的实验可以测试它是否仍可复用。
连同样本数一起读中位数
摘要分别为会话创建、首路径首个分片时间、热首个分片时间与热总时间报告中位数。每个中位数都附带其样本数。基于单行的首路径中位数会保持可见的 n=1。
目的是比较而不抹除:
摘要中位数
↓
样本数
↓
完整原始行
↓
轨迹事件与失败
一个缓慢的离群值不会仅因为中位数比均值更稳定就被移除。
只回放存在的钟
那份已评审的 9 月 2 日轨迹包含两次能力检视、两个 monitor 回调,以及一次持续约 8.2 毫秒的会话创建。它不含提示。
因此回放增加一行 session only。首个分片、生成、提示总耗时、验证、字符吞吐与取消保持 Not measured。回调区间作为一项观察被显示,而不声称该区间内发生了一次完整的模型下载。
结论
浏览器 AI 的延迟是一段生命周期,不是一个秒表。
能力检视、获取、会话创建、首个输出、完成与验证回答不同的问题。进度回调需要上下文。冷与热需要操作性定义。分片数不得伪装成 token 数。
我们第一条真实轨迹测到了一次快速的会话创建,对推理则什么都没测。仪器正确地把缺失字段留空。第 11 章现在让完整协议变得可执行,但数值上的冷热对比保持开放,直到在显式记录的条件下存在配对的实时运行。
下一章追问:为什么同一份会话配置能用、随后又失败。一旦浏览器管理模型,模型生命周期与兼容性就成为应用工程的一部分,即使应用自己从不下载模型。
参考与延伸阅读
- Chrome for Developers, The Prompt API.
- Chrome for Developers, Get started with built-in AI.
- Chrome for Developers, Understand built-in model management in Chrome.