Browser AI From First Principles
从能力边界向上构建浏览器原生 AI:本地模型、可观测性、WebMCP 工具、智能体安全,以及用户自有的浏览器政策引擎。
在 Web 应用的大部分历史里,浏览器在架构中占据着一个清晰的位置。
它显示界面、执行应用代码、存储本地状态。它与服务器通信,由服务器承担昂贵的计算工作。
AI 最初严丝合缝地嵌进了这套安排:Web 应用收集上下文,把它经网络发送到运行在数据中心的模型,接收响应,再把结果显示出来。
这套架构正在改变。
Chrome 的内置 AI 工作允许页面和扩展请求由浏览器管理的模型所支撑的 AI 能力。与此同时,WebMCP 为网站提供了一种向浏览器智能体暴露结构化工具的方式。
把这些进展放在一起:
模型在浏览器内
↓
上下文在浏览器内
↓
工具在浏览器内
↓
智能体在浏览器内
本书从第一性原理研究这场转变。
持久的问题并不是哪个模型恰好随某个版本的 Chrome 发布,而是:
当浏览器不再只是通往 AI 的界面,而自身成为 AI 运行时,会发生什么?
本书同时也是工具
这个项目不止于解释 API。
全书我们将通过两个面向读者的阶段构建一个系统。
阶段一是 Browser AI Laboratory(浏览器 AI 实验室): 一个全页体验,各章节在其对应工具页就绪时接收实时实验——有能力检测、支持时的真实执行、不支持时的捕获轨迹回放,以及一条可检视的证据链。
阶段二是 AI 赋能的站点: 书籍与更广的网站变成结构化、可检索的上下文,带有类型化操作、可替换的 AI 运行时,以及由用户控制的政策。
Browser AI Observatory(浏览器 AI 观测站) 是支撑这两个阶段之下的证据层。它的 DevTools 扩展起初是一个能力探针与流式提示词控制台,随后成长为应用监视器、轨迹查看器、性能分析器、评估工具集、WebMCP 智能体检查器和个人浏览器政策引擎。
这个扩展将帮助回答普通聊天界面所隐藏的问题:
- API 是缺失、不支持、下载中、加载中还是就绪?
- 会话创建花了多久?
- 用户等了多久才拿到第一个输出?
- 哪个提示词用了哪个会话与能力选项?
- 请求是完成、失败还是被取消?
- 成功的推理是否产生了一个通过验证的应用结果?
- 浏览器或模型的更新是否在已知 fixture 上改变了行为?
- 哪些 WebMCP 工具被暴露给了智能体?
- 选中了哪个工具,带什么参数和权威性?
- 不受信的页面内容是否影响了特权操作?
- 哪条规则修改了页面,什么证据证明了这次修改是正当的?
- 哪个模型或供应商处理了内容,是否有数据离开了设备?
这个产品不会留到最后一章才出现。第 1 章确立实验室外壳。面向各章节的读者体验位于 content/tools/ai/browser-ai-from-first-principles/ 之下。共享的实验室与 Observatory 代码位于 experiments/browser-ai-from-first-principles/ 之下。只有当匹配的体验存在时,章节才会获得 Run with Browser AI 动作,而 Observatory 记录信任它所需的证据。
flowchart TD
R[研究问题] --> E[实验]
E --> T[Observatory 轨迹]
T --> W[书籍章节]
W --> F[扩展功能]
F --> R
书籍成为这套软件的设计记录。
软件成为本书的实验仪器。
方法
我们将一次添加一个机制。
能力检测
↓
模型获取
↓
会话与流式传输
↓
可观测性
↓
评估
↓
结构化工具
↓
权限与政策
↓
智能体运行时
在每一步我们都会问:
- 这个机制增加了什么新能力?
- 它可能引入哪种失败?
- 什么证据能告诉我们它是否奏效?
- 它需要什么权威性?
- 调试器应该记录什么?
目标不是记住实验性 flag 或某个发行版的模型名。那些会变。目标是理解当 API 底下的实现改变时仍然留存的架构。
书籍结构
第一部分 —— 浏览器成为运行时
- 浏览器不再只是客户端 —— 区分各种推理架构,然后定义我们将要构建的章节驱动实验室与 AI 赋能站点。
- 内置到底意味着什么? —— 把能力可用性、下载、会话创建与提示变成一台显式状态机。
- 构建最小的 Browser AI Observatory —— 创建一个权限最小化的 Manifest V3 DevTools 扩展,运行并测量一次本地提示。
- 从提示词演示到 AI 调试器 —— 添加选择加入的应用插桩、安全桥接、轨迹标识、脱敏与保留。
第二部分 —— 内置 AI 原语
- 一个运行时,多个接口 —— 在不假设同一个物理模型的前提下,比较通用 Prompt API 与任务专用 API。
- 摘要是一份契约 —— 检验长度、类型、格式、依据性与长输入策略。
- 写作、改写与校对是不同的操作 —— 按对文本的权威性区分生成、转换与纠正。
- 语言检测是决策,不是答案 —— 把带排序的检测与翻译、阈值和弃权组合起来。
第三部分 —— 会话、上下文与本地资源
- 会话不是无状态函数 —— 检视会话对话状态、上下文消耗、克隆与销毁。
- 当上下文窗口填满时 —— 检测溢出、压缩历史并保留正确的状态。
- 冷启动、热运行与真实延迟 —— 分别测量下载、加载、首个输出与吞吐。
- 浏览器管理模型 —— 审视准入资格、更新、清除、存储压力与实现变更。
第四部分 —— 可靠的浏览器 AI
- 解析成功的 Promise 不是正确的答案 —— 在操作轨迹之旁构建行为 fixture。
- 评估的是功能,不是演示 —— 创建可重复的评估、基线与发布门禁。
- 当本地不可用时 —— 设计显式的降级与混合回退,不隐藏数据移动。
- 结构化输出仍然是模型输出 —— 对机器消费的响应进行解析、验证、修复与拒绝。
第五部分 —— 工具与智能体化的 Web
- 从按钮到能力 —— 理解结构化工具为何不同于 UI 驱动。
- 暴露第一个 WebMCP 工具 —— 注册一个类型化的只读操作并检视其契约。
- 工具选择是行为问题 —— 评估发现、选择、参数构造与结果。
- 不受信文本遇上可执行权威性 —— 通过把提议与权威性分开,来遏制敌意页面文本、操纵性工具元数据与被污染的工具结果。
第六部分 —— 从智能体检查器到用户自有的浏览器
- 把人放在权威性边界上 —— 添加权限范围、确认、审计轨迹与安全默认值。
- 浏览器作为个人政策引擎 —— 组合可替换的 AI 运行时、内容单元、类型化证据与声明式用户规则。
- 构建 AI 来源内容过滤器 —— 优先采用来源信息、保留不确定性,并应用可撤销的呈现选择。
- 控制界面的是用户,不是平台 —— 把协调器、worker、工具、权威性边界与政策层组装成完整系统。
本版保留上述架构。未来的实验可能为后续版本的修改提供理由;当证据改变时,下一版应当随之改变。
我们将构建什么
Browser AI Observatory 将沿着同样的部分成长。
| 书籍部分 | 扩展能力 |
|---|---|
| 第一部分 | 全页实验室、能力探针、模型下载监视器、流式轨迹与应用桥接 |
| 第二部分 | 任务 API 控制台与并排比较 |
| 第三部分 | 会话检查器、上下文追踪与性能剖析 |
| 第四部分 | fixture 运行器、输出验证、基线比较与回退轨迹 |
| 第五部分 | WebMCP 工具浏览器、调用轨迹与安全告警 |
| 第六部分 | 权限门禁、智能体时间线、个人政策引擎与 AI 来源内容过滤器 |
这个扩展将维护一条显式的证据边界。
它可以直接观察自己拥有的操作。它可以通过选择加入的 SDK 接收应用事件。它可以检视受支持的 DevTools API 暴露的浏览器表面。它不会假装应用上报的事件是浏览器背书的,也不会假装私有的浏览器内部状态是公开的插桩。
这种限制让工具更可信,而不是更不可信。
实验状态
Browser AI API 与 WebMCP 仍在演进。在某一章写作之时,有些能力可能已经稳定,有些可能需要 origin trial,还有些可能仅限于实验性的 Chrome 渠道或 Built-in AI Early Preview Program(EPP)。
出版快照 —— 2026 年 9 月 6 日。 本版的 API 状态与语法已于 2026 年 9 月 6 日对照当时的 Chrome 文档重新核查。实验运行保留其真实记录环境中的浏览器构建、flag、操作者标签与轨迹。其后的文档变更不会改写更早的观察。
因此每个实现章节都会区分:
- 架构契约;
- 当前有文档记载的公开 API;
- 某次运行所用的实验性配置;
- 我们自己环境中的观察;
- 仍待检验的假设。
本书不会把一次 EPP 公告悄悄变成普遍可用性声明。
实验性构建恰恰因为我们能借此检验应用在同一条能力边界背后发生的变化时能否存活,才有价值。它是证据,不是恒常性。
更大的构想
书通常解释软件。
这个项目把写作、实现与实验当作同一个回路:
研究
↓
实验
↓
章节
↓
软件
↓
真实使用
↓
新证据
└──────────→ 研究
最终,这里描述的浏览器原生 AI 机制可以运行在技术书籍与文档之内:解释一段选中的文字、质疑一个主张、暴露前置条件、生成一个实验、在相关概念间导航,并向智能体提供结构化操作。
直接的产物是一个由 AI 监视器与调试器支撑的活的浏览器实验室。它将成长为 AI 赋能的站点与个人浏览器政策引擎。
更大的目标,是探明当书面知识变成可操作的软件时会发生什么。
章节
浏览器不再只是客户端
从第一性原理重建浏览器 AI 架构,然后定义我们在全书范围内要构建的章节驱动实验室与 AI 赋能站点。
内置到底意味着什么?
把 Chrome 的内置 AI API 变成一台可观测的状态机:直接在本章内检视能力暴露、可用性、模型获取、会话就绪、执行与失败。
构建最小的 Browser AI Observatory
构建并运行最小但有用的 Browser AI Observatory:探测 Prompt API、创建会话、流式传输响应、从事件推导测量、导出证据,并保住仪器边界。
从提示词演示到 AI 调试器
把 Prompt API 控制台变成应用感知的调试器:可执行的选择加入插桩桥、带版本的事件、脱敏、关联、持久化与显式证据边界。
一个运行时,多个接口
构建并运行一个七接口的 Browser AI 交换台:共享生命周期插桩,同时保留每个 API 的标识、选项、操作与输出契约。
摘要是一份契约
配置、运行并评估一份浏览器管理的 Summarizer 契约,横跨类型、长度、格式、偏好、依据性与遗漏,同时把自动检查与人工判断分开。
写作、改写与校对是不同的操作
把 Writer、Rewriter 与 Proofreader 作为不同的权威性契约来运行,保留每个操作允许的 delta、选项、输出形状与评估,而不是给泛泛的散文打分。
语言检测是决策,不是答案
运行一个分阶段的 Language Detector 与 Translator 实验室:保留带排序的不确定性、应用可见的置信度与间隔阈值、显式弃权,并在翻译前检视具体语言对的可用性。
会话不是无状态函数
运行一个会话血缘实验室:创建一个 Prompt API 资源、建立共享历史、克隆被测量的状态、分叉两个分支、比较用量,并显式结束二者。
当上下文窗口填满时
运行一个上下文预算实验室:测量或估计下一个轮次、应用显式的安全储备、单独探测运行时、验证结构化检查点并创建替换会话。
冷启动、热运行与真实延迟
运行一个延迟分解实验室:在显式的 fresh 或操作者核实的冷协议下,测量能力检视、monitor 回调、会话创建、首个输出、生成、完成、验证与取消。
浏览器管理模型
面向一个模型、准入资格、资源与被接受配置都可能变化的浏览器管理能力进行工程设计,同时保住证据、兼容性与优雅恢复。
解析成功的 Promise 不是正确的答案
把运行时成功与结构有效性、语义正确性与功能成功分开,然后把行为评估放在浏览器 AI 轨迹之旁。
评估的是功能,不是演示
把浏览器 AI 例子变成有代表性的功能评估:切片、基线、重复、回归门禁与可评审的证据。
当本地不可用时
在本地浏览器 worker、确定性替代方案与远程回退之间设计显式降级,不隐藏能力变化与数据移动。
结构化输出仍然是模型输出
约束、解析并校验模型产出的 JSON,不把句法结构与语义正确性或可执行权威性混为一谈。
从按钮到能力
用显式、类型化的能力替换脆弱的可视化浏览器自动化,同时保住用户权威性与可观察的效应。
暴露第一个 WebMCP 工具
通过 WebMCP 暴露一个类型化的只读书籍操作,校验其参数、限定其结果,并检视完整的调用生命周期。
工具选择是行为问题
把浏览器智能体的工具发现、选择、参数构造、执行与结果使用作为分开的行为阶段来评估。
不受信文本遇上可执行权威性
当页面内容、工具元数据与工具结果能够影响拥有可执行能力的模型时,为浏览器智能体设防。
把人放在权威性边界上
围绕具体效应设计批准,把 grant 绑定到被校验的效应,并保存有后果的浏览器智能体动作的完整记录。
浏览器作为个人政策引擎
把浏览器原生 AI、可互换的运行时与可观察的决策变成一个用户拥有的、作用于网页体验的政策层。
构建 AI 来源内容过滤器
为具有 AI 来源证据的内容,构建一个优先采用来源信息、保留不确定性且可逆的浏览器过滤器。
构建 Browser AI Lens:用户拥有的智能浏览器
用本书锁定的运行时组装冻结的 Browser AI Lens:一个可检视基底之上的四个模式,端到端演示。
附录 A —— Browser AI 现场指南:设置、API、状态、诊断与配置
本书的工作参考:开发设置、API 矩阵、可用性与生命周期状态、配置键、事件词典、诊断、权威性状态与 Lens 速查表。