← Browser AI From First Principles

浏览器不再只是客户端

从第一性原理重建浏览器 AI 架构,然后定义我们在全书范围内要构建的章节驱动实验室与 AI 赋能站点。

在 Web 的大部分历史里,浏览器一直是计算最终落地的地方,而不是智能开始的地方。

它渲染文档、执行 JavaScript、存储本地状态。它把用户动作变成请求,把服务器响应变成界面。

当语言模型最初进入 Web 应用时,它们严丝合缝地嵌进了那套架构:页面收集提示词,发给应用服务器,服务器调用模型供应商,答案再沿同一条链路返回。

    flowchart LR
    U[用户] --> B[浏览器]
    B --> A[应用服务器]
    A --> M[远程模型]
    M --> B
  

这仍是一种合理的架构。远程模型往往更大、更容易更新,并且在更广的客户端设备范围内可用。但它已不再是唯一的架构。

Chrome 的内置 AI 工作引入了另一种可能:网页或扩展可以向浏览器请求一项 AI 能力,由浏览器在用户设备上安排模型、运行时、下载、执行与更新的生命周期。

    flowchart LR
    U[用户] --> B[浏览器应用]
    B --> API[内置 AI API]
    API --> R[浏览器 AI 运行时]
    R --> M[本地模型]
  

这个变化很容易被低估,因为应用仍然只是发起一次 API 调用。然而架构边界已经移动。浏览器不再只是智能服务的客户端,它还能够成为模型宿主。

本书将沿着这条边界一路追到底。

我们会学习这些 API,但 API 语法不是真正的主题。我们要追问:浏览器管理什么,应用仍然拥有什么,模型生命周期如何变成应用状态,什么可以被观察,什么仍然不透明,本地模型如何改变隐私与失败模式,以及当那个模型被允许使用结构化工具时会发生什么。

我们还将构建真实的东西。

进行中的项目现在有两个可见阶段。

阶段一是 Browser AI Laboratory(浏览器 AI 实验室)。 各章节在其对应工具页就绪时获得全页实验。每个受支持的章节运行正在讨论的机制,报告访问者的浏览器是否支持它,并暴露由此产生的 Observatory 轨迹。当实时执行不可用时,同一页面可以回放一次捕获的运行,而不会假装回放发生在访问者的浏览器里。

阶段二是 AI 赋能的站点。 这本书、乃至最终整个更广泛的网站,会变成结构化的、可本地检索的上下文。页面暴露有界的内容单元与类型化操作。用户可以询问当前段落、比较章节、运行实验、应用个人政策,或选择哪个 AI 运行时被允许处理该请求。

Browser AI Observatory 依然是支撑这两个阶段之下的证据仪器。它的 DevTools 扩展监视能力与会话状态,捕获已获同意的轨迹,显示下载与推理耗时,比较各次运行,并最终检视 WebMCP 工具与政策决策。

实验室、站点体验与扩展不是附录。它们合起来就是本书所开发的软件。


1. 从边界开始,而不是从模型开始

本地 AI 这个说法把好几种不同的系统压成了一回事。

一个 JavaScript 应用可能从模型仓库下载模型权重,通过 WebGPU 执行它们。一个浏览器扩展可能调用运行本地模型服务的原生应用。一个网页可能使用浏览器提供的 Prompt API。三者都在用户附近执行推理,但它们对职责的分配完全不同。

架构 谁选择模型? 谁下载模型? 谁拥有运行时? 应用 API
云模型 应用或供应商 供应商 供应商 HTTP 或供应商 SDK
应用管理的浏览器模型 应用 应用 应用/库 库专用
本地伴随服务 用户或应用 用户/服务 原生进程 本地 HTTP/IPC
浏览器管理的模型 浏览器 浏览器 浏览器 Web 平台能力 API

最后一行是我们首先要研究的对象。

对于应用管理的模型,模型是应用的一部分。开发者选择模型家族与量化方式,托管或引用其权重,加载运行时,管理缓存,检测可用的加速方式,并决定何时驱逐资源。

对于浏览器管理的模型,应用请求的是一项能力。浏览器决定该能力是否受支持、是否有兼容模型存在、是否需要另行下载,以及底层模型如何执行。

这个差异可以表述为所有权的变化:

应用管理

应用
  ├── 功能
  ├── 模型选择
  ├── 权重
  ├── 推理运行时
  └── 生命周期

浏览器管理

应用
  └── 功能请求

浏览器
  ├── 能力 API
  ├── 模型选择
  ├── 权重
  ├── 推理运行时
  └── 生命周期

这种抽象带来杠杆,也拿走了控制权。

应用可能获得更简单的 API、共享的模型存储、浏览器级的更新,以及为当前设备挑选的运行时。作为交换,它不能假设每台机器都具备资格、模型已经存在、其确切实现会保持固定,或者浏览器会暴露开发者想检视的每一个指标。

这是浏览器管理 AI 的第一性原则:

浏览器拥有机制。应用拥有围绕一项不确定能力的体验。


2. 模型正在变成实现细节

开发者自然会问哪个模型驱动着某个 API。这个问题很重要。模型选择影响质量、延迟、支持的语言、上下文限制、内存使用,以及对抗性输入下的行为。

但能力 API 会引出第二个问题:

即使实现发生变化,应用仍然可以安全依赖哪些属性?

考虑一个程序:它调用 LanguageModel.create(),然后对得到的会话发起提示。这个程序直接依赖 Prompt API 契约。它只是间接地依赖该契约背后的特定权重。

应用功能
        ↓
Prompt API 契约
        ↓
浏览器 AI 实现
        ↓
当前模型与运行时

Chrome 的公开文档一直用 Gemini Nano 来描述 Prompt API,而实验性 Chrome 构建可以在内置基础设施背后测试更新的模型。具体的实验模型固然有趣,但更持久的是架构上的结果:应用可以在基本不变的情况下,由浏览器更换其底下的实现。

我们不应把抽象与等同混为一谈。更换模型即使在 JavaScript 接口完全相同的情况下也可能改变输出。昨天稳定产生三字段结果的提示词,明天可能产生不同的措辞。延迟与上下文行为可能变化。安全行为可能变化。bug 可能消失,回归可能到来。

因此浏览器管理的 AI 给了我们两种兼容性:

  1. 接口兼容性:API 仍然接受相同的操作与选项。
  2. 行为兼容性:该功能仍然满足其产品级质量要求。

浏览器可以提供第一种。

只有我们的评估能够确立第二种。

这就是为什么观测站会在可用之处记录能力与贴近实现的事实,而我们的测试 fixture 记录行为。我们不想在浏览器更新三周后,从用户报告里才发现一次行为变化。


3. 局部性改变的是路径,不是对架构的需求

端侧推理常被概括为三个主张:

  • 延迟更低;
  • 隐私更好;
  • 没有逐请求的服务器成本。

每一条都可能为真。没有一条是无条件的。

延迟

去掉一次网络往返可以改善响应性。贴近界面的小模型也能快速流出第一个可见输出。但首次使用可能需要一次可观的下载。会话创建可能需要模型加载。吞吐随硬件与争用的工作而变化。在优化基础设施上的更大远程模型,某些任务仍可能更快完成。

有用的测量不是"本地很快"。它是一个分布:

可用性检查
      + 必要时的下载时间
      + 模型加载与会话创建
      + 首个输出时间
      + 生成时间
      = 用户感知的延迟

热运行的每秒 token 数只描述了这条路径的一段。

隐私

当推理在本地发生时,提示内容无需仅仅为了获得一次补全就发送给模型供应商。这是一项有意义的隐私属性。

它并不使该功能在定义上就是私密的。

周围的页面仍可以传输数据。扩展可以请求宽泛的权限。遥测可能意外保留提示词。生成的文本可能被插入联网的工作流。恶意页面可能尝试提示词注入。应用可以把本地推理与云回退组合起来,而不把这次切换讲清楚。

因此隐私属于完整的数据流,而不属于某一次计算的地理位置。

成本

本地推理可以为应用开发者去掉模型供应商的边际收费。这次计算仍有成本:设备电量、存储、内存、下载带宽、工程复杂度与支持负担。浏览器与设备吸收了服务器架构本会在别处吸收的资源。

严肃的比较必须把两边都算上。


4. AI 能力成为状态

一个普通的 JavaScript 要么存在,要么不存在。浏览器管理的 AI 能力有着更丰富的生命周期。

至少,应用可能需要区分:

    stateDiagram-v2
    [*] --> Unsupported
    [*] --> Downloadable
    Downloadable --> Downloading: 用户操作后创建
    Downloading --> Available: 下载与准备完成
    Available --> SessionReady: 创建会话
    SessionReady --> Running: 提示
    Running --> SessionReady: 响应
    Running --> Failed: 中止或错误
  

Chrome 的 API 用 unavailable、downloadable、downloading、available 等状态描述可用性。这已经告诉我们:正确的 UI 不可能是一个直接接到 prompt() 上的按钮。

应用需要回答:

  • 这个 JavaScript API 在当前上下文中是否暴露?
  • 这台设备是否具备请求这些选项的资格?
  • 所需模型是否已存在?
  • 创建会话是否需要一次下载?
  • 用户是否执行了开始下载所需的激活动作?
  • 下载进展到什么程度?
  • 字节到达之后模型是否正在被准备?
  • 该请求能否被取消?
  • 上下文窗口是否溢出了?
  • 该功能应该重试、降级,还是提供远程回退?

尽管模型归浏览器所有,这些依然是应用状态。

这引出了第二条原则:

内置不等于永远就绪。它的意思是:生命周期由浏览器与应用共享。


5. 浏览器包含多个 AI 层

在写代码之前,把正在浮现的架构分层是有益的。

第 1 层:执行原语

WebAssembly、WebGPU、worker、流与存储,让应用得以执行并管理计算。这些是通用的浏览器机制。它们不规定任何模型或 AI 产品。

第 2 层:应用管理的 AI

库可以使用这些原语加载由应用选择的模型。这以打包与生命周期责任为代价,换来最大的控制力与可移植性。

第 3 层:浏览器管理的 AI API

浏览器暴露通用或任务专用的能力:提示、摘要、写作、改写、校对、翻译与语言检测。浏览器管理相应的基础模型或专家模型。

第 4 层:工具接口

WebMCP 允许站点把操作描述为带名称、描述与输入 schema 的结构化工具。这给智能体一个语义接口,而不是强迫它从像素与 DOM 结构推断每一个动作。

第 5 层:智能体运行时

模型、状态、政策、权限与工具可以被组合成一个选择并执行动作的循环。浏览器于是不只是推理宿主,它成为一个可信的智能体运行环境。

这些层相关但不可互换。WebGPU 不是 Prompt API。Prompt API 不是智能体。WebMCP 本身不决定调用哪个工具。DevTools 的 AI 助手是由机制构成的产品,而不是机制本身。

保持各层分离,可以防止几乎每一个激动人心的公告都被误读成一套完整系统。


6. AI 赋能的站点是上下文系统,不是巨型提示词

说整个网站"AI 资能",可能暗示每个页面都被复制进一个巨大的提示词。那会昂贵、缓慢、难以更新,并且对隐私不友好。

更强的架构有四个阶段:

    flowchart LR
    H[Hugo 内容] --> M[站点清单]
    M --> R[本地检索]
    R --> C[有界上下文]
    C --> A[模型与类型化工具]
  

在构建期,Hugo 已经知道书籍、章节、标题、描述、标签与稳定 URL。站点可以把该结构发布为带版本的上下文清单。浏览器可以构建或加载本地索引,只检索与当前请求相关的段落,并准确披露哪些片段进入了模型上下文。

站点还可以暴露语义操作:

search_site
get_chapter
explain_selection
compare_chapters
run_experiment
inspect_evidence
apply_personal_policy

这不只是在文章旁边放一个聊天框。当前页面提供位置与选区。站点提供结构化的知识与能力。浏览器提供一个可选的模型运行时。用户提供目标、供应商政策,以及任何效果所需的权威性。

于是 AI 层成为站点导航与交互的一部分,而不会成为唯一的界面。每个回答都应当保持在可识别的源段落之上(grounded)。每个工具都应当有契约。每个有后果的动作都应当留在政策或人工批准的边界之后。

这就是本书的阶段二。阶段一给了我们一个受控的实验室,在某个机制被允许中介整个站点之前,先在其中构建并观察它。


7. 我们的仪器:Browser AI Laboratory 与 Observatory

如果书里只有把答案打印到控制台的例子,就会错过那个工程问题。

我们需要一件仪器,让我们把运行时看成事件序列。

第一个公开表面是一个顶层 Browser AI Laboratory 页面。它在页面的真实执行上下文中执行能力检查,只在用户动作之后才开始下载或会话,并渲染实时事件或一条显式标注的录制轨迹。一次章节查询会选定读者的位置,使同一个应用随书一起成长。

更深的仪器是 Browser AI Observatory:一个带专属面板的 Manifest V3 DevTools 扩展。面板起初只包含扩展自身拥有的调用。一个选择加入的插桩桥,允许开发中的应用——包括实验室——向该面板发布浏览器 AI 轨迹。

这个区分很重要。DevTools 扩展无法负责任地承诺它能看见每个页面中每一个不透明的内部事件。我们将定义什么是直接可观测的,什么需要应用插桩,什么浏览器根本不暴露。

初始轨迹将包含:

轨迹标识
来源与被检视的标签页
API 与请求的能力
可用性结果
会话创建开始/结束
下载进度
提示开始
首个输出时间
流式分片
完成或中止
错误类别
脱敏后的大小与耗时指标

这个界面将回答具体问题:

  • 为什么这台机器上该功能不可用?
  • 模型是缺失、下载中、加载中还是就绪?
  • 会话创建花了多久?
  • 首个输出出现前过了多久?
  • 生成在运行过程中变慢了吗?
  • 请求是被中止还是被拒绝?
  • 哪个会话产生了这个输出?
  • 浏览器或模型的变化是否在我们的评估用例上改变了结果?
  • 哪个 WebMCP 工具被提供、被选中并被执行?

扩展还会给自己立一条规则:

提示词与页面内容默认是敏感的。捕获必须是显式、可见、有界且可脱敏的。

一件悄悄制造出第二个隐私问题的可观测性工具,将与它本要研究的架构自相矛盾。


8. 本书将靠实验推进

我们不会把工作组织成一份 API 目录。我们会把它组织成一连串失败与测量。

第一组实验提出四个问题:

  1. 当模型移到浏览器能力边界之后,什么改变了?
  2. 应用在能够安全地发起提示之前,必须处理哪些生命周期?
  3. 暴露该生命周期的最小可用 DevTools 扩展是什么?
  4. 在一个演示变成可调试的软件之前,必须记录什么?

后续各组将加入任务 API、会话与上下文、模型变更、结构化输出、评估、混合回退、WebMCP 发现、工具执行、权限与提示词注入防御。

每个功能都必须通过回答一个被观察到的问题来赢得它的位置。

这给了我们一个回路:

    flowchart TD
    Q[问题] --> E[实验]
    E --> T[轨迹]
    T --> C[章节]
    C --> X[扩展能力]
    X --> Q
  

书解释机制,实验室让读者运行它。Observatory 检验书的主张,而 AI 赋能的站点把这些已检验的机制组合成一个新的界面。


结论

浏览器 AI 不只是一个跑在 JavaScript 里、变小了的语言模型。

重要的转变是一次新的职责分配。应用请求一项能力;浏览器可以管理模型与运行时;用户的设备执行工作。应用仍然必须处理可用性、下载、延迟、失败、隐私与行为变化。

这足以给出我们的第一个架构定义:

浏览器管理的 AI 是一种概率性能力:它的机制属于浏览器,而它的后果属于应用。

它也给了本书一条具体的轨迹。首先,章节实验室序列变成一个活的、可检视的浏览器实验。然后,完整站点变成结构化的上下文,用户选择的模型可以通过显式工具与政策在其中导航。

下一章打开这条能力边界。我们将绘制 API 家族,跟随模型从缺失到执行的生命周期,并把"内置"变成一台精确到足以实现的状态机。


参考与延伸阅读

  1. Chrome for Developers, Built-in AI.
  2. Chrome for Developers, Get started with built-in AI.
  3. Chrome for Developers, The Prompt API.
  4. Chrome for Developers, Understand built-in model management in Chrome.
  5. Chrome for Developers, WebMCP and AI agents.