← DSPy From First Principles

从实验到生产

把封存的保留集只花费一次,再搭起一道有序的治理关口,决定一次离线胜利被允许授权什么——独立评估、晋升、激活与回滚,作为五份各自独立的记录。

第 18 章结束于一道我们终于可以审计的信息边界:在其确定性的训练/开发套件里,防 火墙挡住了全部 288 次构造出来的攻击。这并不使下游指标变得正确;它的意思是, 被测结果不是由我们攻击的那条被禁止证据路径产生的。第 18 章还说出了显然的 下一句——即便一个可准入的离线结果,也不是一个生产版本。

本章弥合这两个事实之间的两处缺口。

第一处是一笔债。第 7 章封存了一个保留集(holdout set)——横跨两个来源家族的七 个样例——并承诺只花费它一次,就在这里,花在流程选出的那个程序上,并且无论结果 是否有利于前面几章,都要报告出来。本章在第 1 节偿还这笔债。

第二处是机制。在一个已经花掉的保留集与一次生效部署之间,隔着一连串彼此独立 的决定——独立评估、比较、晋升、激活、回滚——每一条都有自己的记录和自己的权 限。把它们熔成 optimizer.compile(...) → production,正是一个漂亮的优化器分数 变成一次故障的方式。

    flowchart LR
    CA[候选产物] --> IE[独立评估]
    IE --> CM[比较]
    CM --> PD[晋升决定]
    PD --> DM[部署清单]
    DM --> AR[激活记录]
    AR --> OB[观察]
    OB --> RB[回滚记录]
  

每个方框都是一份独立的记录,各有自己的权限。这些没有一样是 DSPy 的功能。晋升 是一道治理边界,它属于围绕程序的那个系统。


1. 花掉保留集,只花一次

保留集的这一次选择决定,使用第 11 到 13 章在冻结的 editorial v1 协议下产出 的三个优化器结果。Bootstrap 的配对增益是 +0.0003;MIPRO 的是 +0.0199,三者 中最大;GEPA 没有接受任何子代。三者都没有越过配置的晋升门槛 +0.05。

第 14 章刻意不是那次比较里的第四个候选。它改变了目标函数。它那个 +0.0909 的 GEPA 结果,是在另一套打分尺度与协议之下的开发集选择证据,把它喂进 editorial-v1 的晋升决定,会违反本章所讲的可比性规则。

所以为这一次保留集评估,流程选出的程序就是本书开头的那个:冻结的基线。 spend_holdout.py 以机械化的方式完成这次选择——它读取三个优化器记录在案的开发 运行,检查是否有候选以 0.05 的幅度超过基线开发均值 0.7992(最接近的是 MIPRO,差了 0.03),发现没有,于是原封不动地加载 EditorialRewriteProgram()。

然后它对封存的家族评估一次。保留集是 technical-explanation 与 email-correspondence——七个样例,ed-004 加上 ed-039 到 ed-044。在候选 构造或选择期间,没有任何优化器用过这些样例;它们的参考改写、语义结果与逐样例 的评估结果,一直封存到这次最终的花费。

保留家族 样例数 v1 均值 v2 均值
technical-explanation 4 0.862 0.862
email-correspondence 3 0.879 0.879
全部 7 0.8693 0.8693

七个样例全部产出了有效改写。零语义违规——每个样例上 v2 都等于 v1,所以 LM 评审器没有标记任何东西。最弱的样例是 ed-004,得分 0.683:基线澄清了缓存风 险,却往句子里塞进了"posing a technical risk for developers"这样的填充;最强的是 ed-040 和 ed-044,接近 0.97。

现在坐下来,好好看这个数字。冻结的基线在封存的保留集上得了 0.8693,而在 它自第 8 章以来一直被对照研究的开发家族上约为 0.80。在这一次七个样例的花 费里,保留集分数更高。这并不确立"保留集家族本质上更容易";家族构成变了,而 且这只是一次会话,不是对难度分布的一次估计。

另一个事实更硬:在先前的编辑目标下,大约 189,000 个 token 的优化器搜索没有产出 任何一个够格进入这次评估的候选。第 14 章后来表明,改变目标会改变搜索结果,但那 是另一套协议。

这就是第 7 章承诺无论如何都要报告的结果。它不是说优化毫无价值。它说的是:在 这次保留集花费所用的冻结 editorial-v1 选择协议之下,诚实的最终产物正是我们没 有改动过的那个程序。它的 0.8693 是在这七个封存样例上的一次有利观察,不是泛化 率。


2. “只花一次"是一种机制,不是一句口号

第 18 章论证过:一旦一个保留集的结果影响了另一个设计或选择决定,它就不再是独立 证据。spend_holdout.py 让预期的一次性协议很难被意外违反:

  • 最终候选只根据开发证据选出。保留集在选择中不起任何作用。
  • 保留集只被评估一次,一遍跑完,结果写入 holdout_result.json。
  • 任何第二次调用,脚本都会打印 REFUSING: holdout already spent,并以非零码 退出。
  • 评估里没有任何读取逐样例保留集结果、然后改动程序的自适应循环。

本章确实为了报告而检视了最终产物。这就是我们能说出 ed-004 得了 0.683、 并描述它的改写做了什么的原因。这个区分是时间性的:模型选择在那次检视之前就已冻 结,其后的任何候选都不被允许利用我们了解到的东西。

在这份报告之后,这七个结果作为本轮实验的独立证据已被烧掉。删除 holdout_result.json 可以绕过机械护栏;它无法让这些结果重新变成未知。

因此,这次拒绝是一种保障,不是魔法。如果这些结果引导了另一次微调,下一次独立 评估就需要新的证据。


3. 离线胜利不等于激活

保留集结果是证据。这份证据被允许做什么是另一个问题,而答案不是"分数高者胜”。

一个候选可能赢了聚合分数,却仍然不适合激活:

它在一个基线本可处理的样例上引入了严重回归
它增加了无效输出
某个少数家族变差,而均值上升
评估运行所用的协议与基线不同
它是针对一个已不再生效的基线编译出来的
独立样例太少,不足以信任这个差值

本章的治理实验 experiments/dspy-from-first-principles/ch17_promotion 把比较编 码为一串有序的关口,而不是加权混合。从 compare() 转写过来,优先级是:

1  候选的基线指纹 == 生效基线?                                 否  → INSUFFICIENT(血缘过期)
2  候选的评估协议 == 生效者的?                                 否  → INSUFFICIENT(协议不匹配)
3  候选评估的样例数 >= min_cases?                              否  → INSUFFICIENT(样例太少)
4  candidate.hard_failures > active.hard_failures?              是  → REJECT(严重回归)
5  candidate.validation_failures > active.validation_failures?  是  → REJECT(验证回归)
6  candidate.score >= active.score + min_improvement?           是  → PROMOTE
7  其余情况                                                         → INSUFFICIENT(低于阈值)

聚合分数要到第 6 步才被检查——在血缘、协议、证据充分性与两道回归关口之后。 一个得了 0.95 却带着严重回归的候选,永远到不了第 6 步。这就是 CoCoder 的教训 的策略形态:它比较各个维度——完成的执行、无效输出、作用域拒绝、验证通过与否、 实质性回归——并拒绝任何增加严重回归或减少验证通过的候选,无论头号数字多好看。


4. 七个场景

运行器演练了七个决策场景,覆盖 PROMOTE、REJECT 与四种 INSUFFICIENT 结 果。它没有单独演练生效基线指纹过期的那个源码分支;下面的血缘过期场景演练 的是候选过期的分支。所以这是广泛的策略路径覆盖,不是 compare() 的完整分支覆盖。

生效基线是 editorial-rewrite-v1:合成分数 0.72,三个样例,零严重失败,零验 证失败。策略要求 min_cases = 2 与 min_improvement = 0.05。

场景 候选分数 严重失败 验证失败 协议 基线血缘 决定
实质性的干净改进 0.81 0 0 匹配 当前 PROMOTE
高分但有严重回归 0.95 1 0 匹配 当前 REJECT
高分但有验证回归 0.95 0 1 匹配 当前 REJECT
改进低于阈值 0.75 0 0 匹配 当前 INSUFFICIENT
独立样例太少 0.95 0 0 匹配 当前 INSUFFICIENT
评估协议不匹配 0.95 0 0 不匹配 当前 INSUFFICIENT
候选构建在过期基线上 0.95 0 0 匹配 过期 INSUFFICIENT

决定计数:一个 PROMOTE,两个 REJECT,四个 INSUFFICIENT。

五个各不相同的 0.95 候选——分数远高于基线的 0.72,也远超 0.05 的门槛——都 没有被激活。其中两个因为聚合看不见的回归被拒绝。三个被判定证据不足:独立样例太 少、评估协议不匹配、基线血缘过期。唯一晋升的那个候选得分为 0.81,高出基线九 个点,而且没有任何东西坏掉。

0.75 那个候选是最安静的。在这个合成场景里,它既没有严重回归,也没有验证 回归,构造出的聚合值比生效程序高 +0.03。策略仍然返回 INSUFFICIENT,因为 +0.03 低于配置的 +0.05 门槛。

这演示了阈值行为。它并不确立"+0.03 是统计上真实的增益",也不确立 “+0.05 已经对准了某个普适的噪声水平”。第 10 节会明确划定这些合成输入与策略选 择的边界。


5. REJECT 与 INSUFFICIENT 是不同的答案

运行器刻意把它们保留为两个独立的决策类别,这个区分承载着真实的信息:

  • REJECT 意味着证据里包含一个丧失资格的事实。候选引入了严重回归或验证回 归。不要晋升这个候选。
  • INSUFFICIENT 意味着证据不足以支持激活。候选本身也许没问题——协议漂移了、 血缘过期了、样例太少了、增益太小了。去拿到更好的证据。

把两者都熔成"未晋升",就把原因扔掉了。REJECT 说的是:在这一策略之下,现有证 据包含一个丧失资格的回归。INSUFFICIENT 说的是:这次比较无法授权晋升,但补救 办法取决于触发的是哪道关口——收集更多样例、在可比协议下重跑、针对当前基线重 建,或者干脆让低于阈值的候选保持不生效。

因此,矩阵里那四个 INSUFFICIENT 场景并不是四个被演示出来的坏候选。其中三个甚 至还带着 0.95 的合成分数;缺的是可准入的晋升证据。


6. 晋升是一道可执行的关口

一个 PROMOTE 决定不是那种"相信部署脚本会照办"的咨询性元数据。在运行器里, activate_after_promotion 拒绝做任何事,除非它拿到一份真正的 PROMOTE 记录:

if promotion_decision["decision"] != "PROMOTE":
    raise RuntimeError("activation attempted without PROMOTE decision")
if previous_manifest.status != "eligible":
    raise RuntimeError("previous active manifest is not rollback-eligible")
if candidate_manifest.status != "candidate":
    raise RuntimeError("candidate manifest is not in candidate state")

实验直接探测了这一点。在晋升 0.81 的候选之后,它取出那个被拒绝的严重回归 候选,尝试激活它。调用抛出异常,non_promote_activation_blocked 被记录为 true,而这次运行的不变式之所以通过,正是因为这次拒绝发生了。

激活也是一个带前置条件的状态转移,不是一次布尔翻转。上一个版本必须处于 eligible 状态(这样才能回滚到它);候选必须仍然是 candidate(尚未被取代)。 分阶段发布——先让候选与真实流量并行影子运行,再做有界的金丝雀,最后完全 激活——是同一个想法在时间维度上的展开,而 DSPy 一样也不提供。决定哪个程序 来回答一次请求的那个注册表,是你自己的。


7. 五份记录,五个指纹

成功路径会产出五种不同的记录类型,运行会给每一种都生成指纹:


8. 回滚是血缘的一部分

一个系统如果能晋升,就必须能撤销一次晋升——而撤销必须被演练,而不只是被提到。

运行器走了一遍真实的状态序列:

    stateDiagram-v2
    [*] --> v1_active
    v1_active --> v1_eligible: v2 作为候选进入
    v1_eligible --> v2_active: PROMOTE
    v2_active --> v1_active: 激活后出现严重回归,回滚
  

rollback(history) 反向扫描部署历史,找到最近一份 eligible 清单并恢复它,产 出一份独立的 RollbackRecord,其 status = "rolled_back",并带有自己的指纹。 CoCoder 在它的血缘里做同样的事:回滚要求一个历史上曾生效或曾被取代的目标,把当 前生效版本翻成 rolled_back,把目标恢复为 active,并写入一条 decision = "rolled_back" 的晋升记录。回滚是一个被追踪的血缘事件,不是一次看不 见的数据库改动。

陷阱比"我们忘了保留旧产物"更隐蔽。一个能加载出来的旧候选状态,不一定是那个 旧系统。如果 provider、检索索引、工具 schema 或验证依赖自那个版本生效以来已 经漂移,加载它可能恢复了旧的程序状态,却没有恢复旧行为。

因此,一个生产回滚目标也需要固定这些运行时依赖。本章的确定性运行器没有测试 那种重建:它的清单只包含 deployment id、program id、候选指纹与状态。这次演练确 立的是血缘与状态转移行为——选中一个合格的前驱、把它恢复为 active、记录这次 撤销——而不是跨越运行时漂移的完整行为恢复。


9. 生产输出不是训练标签

激活之后,每个请求都应当产出一条记录,即使什么戏剧性的事情都没发生——request id、程序版本、模型与 provider、回退状态、验证状态、失败原因、输入输出指纹、 trace id。做仓库修复还要加上工具调用、被改动的文件、测试目标与作用域结果;做编 辑工作则加上证据包哈希与任何审校决定。

这条记录不会立刻变成训练数据。有两种推断很诱人,却是错的:

用户没有抱怨                  ≠   正面标签
人类更偏好这个候选            ≠   候选被应用了,而且奏效了

Writer 的架构把这些分开——偏好证据、候选生成证据、盲审证据、应用证据,以及后 来的排序器统计,是各自独立的流。本书再加上第 18 章那条更严格的规则:一条生产观 察,只有在成熟、保留其来源信息、通过泄漏策略、并被整理成决策时刻的形式之后,才 能成为候选的未来证据。在那之前,它是一个事件,不是一个标签。


10. 它确立了什么,又没有确立什么

这次保留集花费是一个程序、七个样例、一次会话。 0.8693 且零记录的语义违 规,是本书唯一一次封存的编辑保留集测量。它不是一个分布,而它高于开发分数这 一事实,并不能确立保留集家族本质上更容易。横跨两个家族的七个样例,只确立了这次 花费里发生的事。在本章检视并报告了逐样例结果之后,那些结果就不再是供未来迭代使 用的新鲜独立证据了。

治理运行是确定性的,也是合成的。 七个场景里候选的"分数"是手工构造的输入, 用来演练选定的策略路径,不是实测的模型输出。这次运行证明这些路径会返回预期的决 定。它不提供 compare() 的完整分支覆盖,也不证明 min_cases = 2 或 min_improvement = 0.05 是对任何部署都统计校准过的阈值。

激活与回滚是在内存中的教学清单上演练的。 当时没有服务在运行,被测量的清单 也没有固定 provider、模型、索引、工具或验证的版本。这次运行确立的是它实际演练 到的状态机性质:非 PROMOTE 决定无法激活、激活有清单状态的前置条件、回滚会选 中一个合格的前驱、每次转移都会产出一份独立记录。在真实运行时漂移下重建同样的行 为,仍然是生产工作。

在所有这些局限之下依然成立的是这个结构:

独立评估、比较、晋升、激活与回滚,是各自独立的权限,各有自己的记录。优化器的 分数可以作为比较的证据;它没有权限凭自己激活一个程序。


通常会出什么错

症状 可能的原因 如何诊断 改什么
保留集的数字持续上升 每次微调之后它都被重跑——它现在是开发集 检查自第一次花费以来的改动历史 冻结一套新的最终测试集;旧的那份已经烧掉了
候选离线获胜却搞坏了生产 离线与在线在模型、工具或流量上不同 比较协议指纹与工具/索引的版本 先影子运行,再金丝雀,然后激活
一个高分候选带着严重回归 聚合被当成了那个决定 把严重失败与验证失败当作两个独立计数来检视 先按回归把关,再看分数,而不是反过来
“未晋升"却没附带原因 REJECT 与 INSUFFICIENT 被熔成了一个结果 看看触发的是哪道关口 让决策类别与它们的原因保持分明
说不清某个版本为什么在生效 没有部署清单,只有一个保存下来的程序文件 追问是哪份晋升证据和配置产出了这个版本 记录清单:证据引用、决定引用、配置、回滚目标
拒绝之后却发生了激活 决定与激活路径没有耦合 追踪激活的前置条件 要求一份可执行的 PROMOTE 记录;其余一律抛错
回滚恢复了文件却没恢复行为 provider、索引、工具 schema 或验证依赖漂移了 把旧清单里固定的版本与当前版本作 diff 在回滚目标中固定运行时依赖,并演练这次恢复
生产日志悄悄变成了训练数据 结果由沉默、或仅由偏好推断而来 审计标签的生成规则 把观察与标签分开;要求成熟度、来源信息与泄漏审查

本章小结

我们把封存的编辑保留集恰好花了一次。在冻结的 v1 选择协议之下,第 11 到 13 章那 些可比的优化器结果没有产出任何一个越过配置的 0.05 晋升门槛的候选,于是流程选 中了冻结的基线。它在那七个保留样例上得了 0.8693,高于它的开发测量,且没有记 录到语义违规。第 14 章那个替代目标的结果被刻意排除在这次比较之外,因为它改变了 评估协议。

然后我们搭起了决定这类证据被允许做什么的那道边界。compare() 先检查血缘、协议 可比性、样例充分性与回归,然后才检查聚合改进。七个合成场景产出一个 PROMOTE、 两个 REJECT 和四个 INSUFFICIENT,而激活路径在拿到非 PROMOTE 决定时抛错。 候选身份、晋升决定、部署清单、激活记录与回滚记录,仍然是各自带指纹的独立产物。 被实测的回滚是一次血缘/状态机演练;固定完整的运行时,是生产清单必须满足的额外 要求。

我们移除了"一个被优化过的程序就该自动上岗处理真实工作"这一假定。

本书需要的每种机制现在都已独立存在。最后一章要问的是:它们能否组成一个单一的闭 环。


延伸阅读

  • The Reusable Holdout: Preserving Validity in Adaptive Data Analysis(Dwork 等,Science 2015):为什么反复咨询一个保留集——哪怕只是间接地、通过它所引导 的决定——会毁掉它本该提供的保证。这是"只花一次"的机械论论证。 (Science 349(6248))
  • Hidden Technical Debt in Machine Learning Systems(Sculley 等,2015):模型 只是配置、监控与黏合代码这个大系统里的一个小盒子——本章的清单与生命周期想要 弥合的正是这道缝隙。 (NeurIPS 2015)
  • The ML Test Score: A Rubric for ML Production Readiness(Breck 等,2017): 一份涵盖评估、监控与回滚能力的具体清单——晋升的操作层面。 (IEEE Big Data 2017)