编译证明什么
编译器每种结构证据确立什么,什么假设下,什么没证明:可靠性、完备性、最优性、轨迹、检查器、parity、identity。
编译器刚给 migration 任务返回五条目的包。它说准入理由充分。凭什么信它?
问题是关于证据 reach。编译器输出引出一串问题:观测到什么,那些支撑什么命题,什么还在 reach 外。通过的测试是某输入总体上某属性的证据,在测试 oracle 与假设下。它不自动是每可能输入那属性的证明。本章"证明"留给声明的有限 domain 上 adequate 论证或穷举检查。更广的实现拿到更窄的证据:测试 conformance、反例、显式 gap。没有一个确立真相、有用、通用正确。
关于编译的证据只确立实际观测的属性,在检查给的假设下。它不因机制确定性、测试通过继承更强的断言。
关于编译器的三问题
第 23 章分开三属性,证据分开要:
可靠性: 编译器返回包满足声明的约束吗?
完备性: 合法包存在,编译器找得到吗?
最优性: 合法包里选的是最好的吗?
三者在编译器无限制输入空间上都没形式证明。证据是有限合成语料、语料的穷举可行性审计、阴性测试、构造反例。不对称重要。返回的包,检查器对产出 artefact 测声明的结构约束。拒绝,合法包不存在要独立于拒绝流程的可行性论证。贪心失败能只是搜索失败:
成功的包 ≠ 没更好的包的证明
编译失败 ≠ 不可行的证明
合法 ≠ 最小 ≠ 最优
最优性显式不断言。670 token 的引用对 400 全文,已经是成本最优的反例。
轨迹是仪器
先看编译器除包还交什么。这是合成 case 的决定轨迹,廉价引用要贵 resolver,预算 1,400 token。
| 候选 | 决定 | 理由 | 类 | 成本 | 包里位置 |
|---|---|---|---|---|---|
| 生成文件常驻规则 | 准入 | 必需 | 必需 | 60 | 0 |
| 任务 | 准入 | 必需 | 必需 | 40 | 1 |
| 事故引用 | 准入 | 排名进 | 自由裁量 | 20 | 2 |
| 无关子系统笔记 | 准入 | 排名进 | 自由裁量 | 300 | 3 |
| resolver 定义 | 准入 | 排名进 | 偏好 | 650 | 4 |
| 事故全文 | 拒绝 | 这内容的另一形式准入 | 自由裁量 | 0 | 无 |
六候选六决定,各有记录理由。(位置从零数,表按包顺序。)表是轨迹的读者可见投影,不是完整轨迹,也不是决定序列的独立重建。实现记录候选的类、相关性、边际成本、前后预算、依赖闭包、准入病因、位置,以及决定理由。底层轨迹条目按标识符排序;包顺序是另一顺序。联合准入的引用 resolver 条目报告同样单元层预算 transition,读成两次分别收费就错。失败编译留部分轨迹也可能。这些记录没有一个是模型推理、ground truth、下游行为的因果账;部件报告自己的行动。
仪器须验证,历史版挂了那个测试。两版本存在。冻结 Python 输出里轨迹把预算前值抄进预算后值,依赖字段全空。它记录 resolver 准入了,不记录要它的依赖。修复的轨迹记录预算移动闭包,填充的字段还是生产者断言,单独检查前。所以:
轨迹存在 ≠ 轨迹完整
字段存在 ≠ 字段 informative
记录的理由 ≠ 正确的理由
轨迹一致 ≠ 世界正确
轨迹展示过时观察在新鲜度门拒绝,它展示不了观察过时,因为门被告知的。可能的是检查,不是正确。
检查的层次
几种检查回答不同的问题,一般没有更好:
| 检查 | 回答的问题 |
|---|---|
| 决定仪器(轨迹) | 实现说走了哪个分支? |
| 独立结构检查器 | 产出 artefact 遵守检查器知道的不变量吗? |
| 差分对比 | 两实现这个输入一致吗? |
| 输入外部验证 | 给的范围新鲜度权威性判断对吗? |
| 传输观测 | 这个 artefact 到模型边界吗? |
| 行为实验 | 改变它改变模型行为吗? |
| 生态测量 | 机制在真实工作多久重要? |
前四个管编译器。后三个归后面章节,这里点名,什么都不替它们 claim。
检查器检查什么
引擎组装包,独立实现的验证器检查结果的选中不变量。门谓词独立实现:第一版调回引擎的门函数,部件 effectively 给自己的 work 打分。阴性测试注入范围新鲜度权威性下限违反、超预算包、缺失依赖、不完整组,检查对应验证器拒绝它们。第二验证器检查结果结构与选中轨迹属性。这比只靠引擎自己的断言强,代码独立不是 spec 独立、成本假设独立、上游 verdicts 独立。
它的 reach 比"从头重算合法"窄:
- 它对产出包检查不变量。不算出合法包,不定可行,拒绝 unavoidable、选的包最好都说不了。
- 它共享数据类型、成本单位,尤其假设一内容 identity 的两表示不能共存。第 23 章发现那个假设太强,检查器也执行它。
- 它的预算检查加每条目成本字段(声明 token 数加装饰估计),漏掉引擎也加的分隔 header 估计,引擎自己的成本检查弱。验证器的预算模型、引擎的渲染成本模型、provider 的 token 会计是三样东西。
- 它检查排布和条目顺序对得上,不按政策 role 顺序检查顺序。
- 它确认显式点名的候选在场,不独立推导哪些内容该必需。
- 它的轨迹检查覆盖闭包、预算移动、一致性。不检查理由码对、决定正确。
实现独立 ≠ spec 独立
语言不同 ≠ 语义独立
两份代码分开写,共享一错 spec,完美一致还一起违反修订的表示模型。
在 Context Viewer 里检查
本章的 viewer scene 把有限语料和它的 limit 放一起:42 编译里 34 包 8 拒绝,语料里审计 mismatch 零,语料外 false 拒绝, optimality 反例,parity 当一致,label 干扰合法还准入。打开 scene 三份证据分开。看什么:conformance 确立什么,反例打掉什么,两者都不说行为什么。42 对不证明第 43 个。
在 Context Viewer 里打开 conformance scene
有限语料
编译器附带十四合成 case 家族,每族练一机制,诱弱组装器犯它防的错:预算 slack、冲突、依赖环、依赖陷阱、共享依赖、混合池、必需溢出、无合法表示、要求来源 unavailable、qualification 陷阱、表示备选、渲染溢出、过时便宜候选、错范围。每紧中松三预算跑,42 编译。当前实现 34 返回包、8 显式拒绝:必需溢出的三预算两,无法律表示与要求来源 unavailable 的三预算全。每对上期待结果,每包声明单位内预算 fit。
“对上期待结果"要谁说期待结果对的定义。这里是 fixture 自己的期待 state(包或拒绝),和 fixture 记录。fixture oracle 下期待结果,不是独立确立的正确,几包合法处对上状态比对上包弱。语料还有些机制无区分力的 case 家族,下面权威性对比展示。
8 拒绝真不可行否是独立问题,语料小到穷举审计。审计枚举候选子集,陈述的结构模型下评估:给定准入资格下限、依赖闭包、组完整、一内容 identity 至多一表示、声明必需要求义务、渲染估计成本。34 返回包全满足那个模型;8 拒绝 case 里无可行集。这是 42 测试实例里无 false 成功 false 拒绝的证据,用共享成本互斥假设。它既不是假设恰当的证明,也不是没见过输入完备的证明。审计编译器都继承第 23 章认出太 restrictive 的内容 identity 互斥(互补形式)。
三份证据分开:
构造实验: 14 case × 3 预算 × 6 策略,历史
有限可行性审计: 14 case × 3 预算,编译器对穷举枚举
完备性反例:一构造 case,语料外
反例是必需条目两形式(要贵 resolver 的廉价引用和贵独立形式)加同样要 resolver 的要求条目。第一次贪心决定独立形式边际成本低,编译器选它。第二次决定要求条目强制 resolver,结果集超预算。开头选引用形式,两义务共享 resolver 装得下。枚举检查器找到那个可行集,编译器拒绝,在声明的结构模型下演示 false 拒绝。这确立当前贪心流程不完备;没确立缺陷多久发生。反例在编译器仓库描述记录,fixture 期待结果 run identity 进证据登记前还是探索性证据。
和简单组装器对比
构造实验同样 42 case 跑六种建包法,252 编译:dump(到达顺序填预算截断)、top-k 相关性、加权 packer、硬门贪心(四门施加再排名)、编译器、oracle。oracle 从 hidden fixture 台账知道任务要什么条目,是 hidden-label 选择 oracle。它不是可行性 oracle,不知道行为效用。
结果两表分开 hold,因为回答不同的问题。这是历史构造结果(earlier 实现),计数和存的 summary 对得上。
结构结果
| 策略 | 期待状态对上,42 里 | 非法准入 | 依赖组 break(依赖/组) |
|---|---|---|---|
| dump 截断 | 34 | 12 | 1 / 0 |
| top-k | 34 | 15 | 1 / 1 |
| 加权 | 34 | 15 | 1 / 0 |
| 硬门贪心 | 34 | 0 | 1 / 1 |
| 编译器 | 42 | 0 | 0 / 0 |
hidden-label 结果
| 策略 | 干扰 label 准入 | 有害 label 准入 |
|---|---|---|
| dump 截断 | 18 | 3 |
| top-k | 18 | 2 |
| 加权 | 17 | 1 |
| 硬门贪心 | 9 | 2 |
| 编译器 | 5 | 2 |
| oracle | 0 | 0 |
断言窄:历史合成构造跑里编译器记录的结构违反比指定四简单策略少,fixture 期待处拒绝。必需溢出紧 fixture 里 top-k 省略要求约束、拿可选材料填剩下空间一部分,返回 2,061 token 包。硬门贪心避开观测的准入资格违反,还 break 依赖耦合组;那是不同的失败类。计数展示对作者 fixture 义务的表现,不是组装器的 general 排名。加权 packer 可行 case 全召回 must-have 条目,单召回度量区分不了这些结构错误。第二表 hidden-label 数既不是行为结果,也不是 harm 的证明。
两 limit 放表旁边。权威性违反数每策略零,dump 也一样。没 case 诱弱组装器打破权威规则,权威门实现遵守,从没展示区分:
门实现 ≠ 门练过 ≠ 门区分
零观测违反 ≠ 机制价值 demonstrated
合成 case 语料对 prevalence 什么都不说。依赖陷阱存在不让依赖陷阱常见,合成数不是真实频率的估计。
合法不是有用
编译器准入 ledger 标干扰的五条目、有害的两条目。label 作者写进 fixture,不展示条目伤模型:
harmful-label ≠ demonstrated 有害
distractor-label ≠ 行为无关
混合池里 fixture 条目 label 有害是指令形状笔记(相关性 0.55,声明成本 130 token)。builder 标它范围内新鲜权威准入,编译器阈值上准入(装得下、无执行规则排除)。那是重要边界观测:结构合法相对给的 verdicts 约束。label 没确立内容在执行的模型任务恶意,也没确立编译器给它指令权威。那个后果的测试要[第 19 章](/zh-cn/books/context/19-chapter/)的控制数据区分和[第 26 章](/zh-cn/books/context/26-chapter/)的行为干预。
parity,和 parity 保留 bug 时
编译器从研究代码 Python 起步,抽成包,42 编译行为冻成输出(结果轨迹包渲染文本),后面 TypeScript 重实现。三问题分开:
行为 parity:冻结语料两输出等价吗?
schema parity: 序列化同样结构吗?
语义正确: 共享行为是要的行为吗?
TypeScript 实现历史 conformance 对比下 42 冻结 Python case 全对:报告对比无语义序列化 mismatch,预算违反无。那是有限测试集的实现 parity 断言,不是语义正确断言。六策略 252 编译构造对比还是 earlier Python 跑的证据,静默当 TypeScript benchmark 呈现不得。修复后 parity 有单独版本契约,轨迹 schema 变了。
移植抄了没人会选的行为。token 估计 halves 向偶舍入(和 Python 一样),词同样空白规则切,标识符按字符码比。它还抄了三 faults:预算后字段装预算前,依赖槽空,政策记录必需内容形式怎么选、引擎无视它。parity 要求三全复现,做到了:
一致 ≠ 正确 parity ≠ valid
一致是错误忠实拷贝的样子。轨迹审计目的检查暴露错空的字段,保留的历史 golden 文件精确展示旧参照产出什么。修复报告选中成员顺序拒绝结果不变;那是关于选择行为的断言,不是轨迹字节不变。轨迹结果 schema 版本变了,当前兼容拿文档投影和老形状比,单独测试新有意义的字段。这种投影只对保留的字段展示向后兼容。必需形式政策现在执行,选中不变的断言用到那个政策的 case 上验证。
冻结输出 role 不同。历史 golden 记录参照做了什么,兼容 golden 固定契约,normative oracle 说该发生什么,有缺陷的 golden 不 obligate 任何人保留缺陷。差分测试是异常检出:差别至少一实现不同,一致只说测试 case 一致。
确定性与 identity
确定性去掉归一化输入实现版本政策固定时跑间 variation 之一。编译器决定路无模型调用、时钟读、随机、网络访问,语料检查候选到达顺序置换。那支撑测试 case 归一化规则的复现性,不是所有可能输入的通用等价。同样编译器跑冻结请求候选的两政策,观测输出差归因到改的政策(那个对比里)。差别有益否要独立行为证据,内容 hash 不变还证明不了交付相同。
包的 hash 覆盖每条目标识符内容,按顺序:
export function contentHash(bundle: ContextBundle): string {
const digest = createHash("sha256");
for (const item of bundle.items) {
digest.update(item.id, "utf-8");
digest.update(Buffer.from([0]));
digest.update(item.content, "utf-8");
digest.update(Buffer.from([0]));
}
return digest.digest("hex");
}
同样条目标识符内容顺序不同的两包这个算法 hash 不同。digest 因此认出包成员条目文本的有序投影,不是整编译。成本、来源、政策、编译器 identity、轨迹字段、wrapper 文本、精确渲染字节都没进。它还依赖定义的标识符内容编码分隔符;SHA-256 给 digest,不保证两不同输入永不 collision。[第 25 章](/zh-cn/books/context/25-chapter/)的交付问题要单独认出渲染什么、传输边界过了什么:
包内容 hash ≠ 完整编译 identity
包 identity ≠ 渲染 identity ≠ 交付 identity
确定性 ≠ 跨版本 identity
replay 要同样归一化输入、政策、编译器版本,结果只记请求政策版本。后两 identity 归下一章。
结构证据说明什么
| 断言 | 观测 | 支撑 | 不支撑 |
|---|---|---|---|
| 成功包遵守给的门 | 独立检查器拒绝注入违反;语料输出零违反 | 测试输出观测门违反零 | 给的判断对;通用可靠性 |
| 拒绝对应不可行 | 42 case 有限审计 8 全空合法集;构造 case 合法包存在还拒绝 | 语料无 false 拒绝;语料外演示 false 拒绝 | 完备性 |
| 包 fit 预算 | 编译器单位检查 | 声明估计单位 fit | provider token 数 fit |
| 每决定有理由 | 轨迹在场,闭包预算检查 | 实现决定的审计轨迹 | 理由对 |
| 两实现一致 | 42 冻结输出复现 | 测试 case 一致 | 第 43 个正确,共享行为正确 |
| 编译器指定基线测得结构违反少 | 252 编译违反数 | 这些 fixture 结构差 | 行为 benefit 或全局排名 |
真实会话语料是空的,这些机制多久重要 unknown。
提议的实验
历史构造结果这里不动。新 fixture 是新版本语料,历史 14 × 3 × 6 结果照原样保留。
**验证器 mutation。**独立接受的包出发,一属性变:范围新鲜度权威性没资格候选、低于下限形式、缺失点名条目依赖、部分组、预算溢出(含分隔 header)、role 顺序违反、缺失轨迹条目、错误闭包、错误预算 transition。每 mutation 说清哪验证器拥有那规则,现存检查器实现否。现存检查器做不出的期待拒绝是覆盖 gap,不是通过的测试。加没改 valid control,无差别拒绝的验证器看着成功不了,分开报告接受 invalid 拒绝 valid。
**有限可行性 oracle。**证据登记 pin 枚举器代码、约束定义、fixture 输入、期待可行集、构造 false 拒绝 case。oracle 对小手查例子审计,穷举错规则还是错。互补表示在修订显式声明替代关系下加;不硬塞当前一内容一形式假设当 definitive。权威挑战 fixture(上游 verdict 允许数据 role 显式)加,unknown 成本(当前 schema 表达不了)输入加。schema 拒绝、结构 invalid 产出包、 feasible 包还拒绝分开。false 成功 false 拒绝对每声明约束模型分开报告。
**轨迹 valid。**每字段问 state 变它变否、已知缺陷误导否、独立检查否、审计问题够否,用错预算后、缺失重复候选、错位置 mutation 测。
**parity 重跑。**历史 parity 当前 parity 分开报告,轨迹 schema 变了。
**什么 weaken 断言。**结构可靠性证据在验证器接受 deliberate 非法包、拒绝独立 valid control、和有限可行性审计对产出集分歧时 weaken。一 false 拒绝打掉当前贪心流程的完备(别的 case 过多少也一样)。parity 断言点名 schema 版本投影,契约里 unexplained mismatch 就挂。轨迹审计断言在注入 false 条目派给它的检查检不出时 weaken。更广语料简单组装器打平编译器,缩小 demonstrate 的优势;不擦实际练过的 distinct 结构属性。
交接
编译器比模型检查严格,因为变换确定性约束显式。轨迹记录决定,独立检查器挑战成功输出,有限 oracle 测拒绝对应不可行否,第二实现暴露分歧。但一致保留 bug,检查器共享错 spec,42 对不证明通用正确,合法包不必有用。构造反例说明区分不只是理论:当前贪心流程拒绝自己结构模型承认合法包的请求。独立确立可行前,拒绝证明这个流程没构造出包,不证明没有。
连完美结构证据还留一问题没答:
这个 exact artefact 真到达模型了吗?
编译 artefact 不是交付 artefact,交付不是用了,用了不是有帮助。那是[第 25 章](/zh-cn/books/context/25-chapter/)。
参考
- Project Context Compiler. Source repository, Apache-2.0, first-party code by this book’s author. The engine, the independent validators, the fourteen synthetic cases with their budgets and the frozen outputs of the earlier Python implementation. https://github.com/ernanhughes/project-context-compiler
- Project Context evidence register (companion repository,
evidence/README.md). The pinned construction run and the implementation-parity record consumed here. Structural evidence only, with no behavioural claim.