一次只改一件事
把语料库、程序、模型、优化器配置和评测框架固定住,只替换目标,检验当失败变得确定且可具名时,优化是否会改变方向。
前三章拿三个优化器去跑一个我们已经证明是盲的指标,得到的正是第 9 章预言的结果:一次 忠实追逐目标、却损坏了目标看不见之物的搜索。
这个结果有一个显而易见的解读,也有一个正确的解读,而两者并不是一回事。
显而易见的解读是优化器表现不佳。正确的解读需要一次实验,因为“目标才是问题所在”只是 一个假设,而我们还没有检验过它。我们所知道的一切都与另一个解释相符——不管把优化器指 向什么,DSPy 的优化器在一个小型本地模型上都做不出多少事。
所以这一章只改变一样东西。
flowchart LR
F[其余一切固定] --> E[同一实验,重新运行]
M1[editorial_metric_v1] -->|换成| M2[确定性约束满足]
M2 --> E
固定不变的有:44 个句子、程序架构、模型及其量化与温度、优化器的类与预算与种子、各个 划分与顺序,以及七次会话的配对评测框架。只有目标改变。这就是全部设计。它不是一个新任 务、一个更大的模型,或一次更好的搜索。它是同一次实验,只是换掉了尺子。
得到的结果并不是优化器的一场干净胜利。它更有信息量:三个优化器按照其搜索过程能利用 的信号类型分开了。
1. 抵抗把一切都修好的诱惑
这里最强的本能,是在实验进行的时候顺手改进它。新目标是确定性的、免费的——不调用 LM,计算即时——因此优化器负担得起比编辑实验所允许的多得多的搜索。
我们一个预算都没有提高。
Bootstrap 保留 0.70 阈值和四条示范。MIPRO 保留两个候选和四次试验。GEPA 保留
max_metric_calls = 66 和种子 13。每一项配置都逐字照抄自上一章的运行。
这个理由值得讲清楚,因为它很容易搞错。如果目标变了而且预算也变了、结果变好了,你 对究竟是哪一处改动起了作用就一无所知。一个便宜的指标,是邀请你稍后跑一次更好的实验, 而不是许可你现在就换一次不同的实验。
语料库、划分、模型和配对评测框架同理。数据集与划分的指纹都与前面几章完全一致。
2. 一个能说出失败名字的目标
第 9 章论证过,指标有两份工作——测量正确的属性,以及能够说出哪里出了问题——而我们 的两份都没做好。替代品围绕这两者构建。
每个案例都会得到一组冻结的 hard_constraints,它们由句子、目标和上下文机械推导而
来,再由人审查、在任何运行开始之前冻结。六种,每种都是二值的:
| 约束 | 检查 |
|---|---|
entity:<X> |
token X 仍然存在 |
number:<N> |
数值 N 存在且未改变 |
qualifier:<W> |
承载范围的 token 或短语 W 仍然存在 |
negation |
否定数量与原文等价 |
forbidden:<X> |
token 或短语 X 仍然不存在 |
max_words:<N> |
不超过 N 个词 |
qualifier 约束来自对承载范围的 token 的扫描:regularly, only, may, might, up to, at
least, within, usually, often, sometimes, partly, approximately, generally, typically,
unless, if。多 token 的短语按短语整体匹配——up to 不是两次独立的检查。
打分规则保留了第 8 章关卡与分数的分离。entity、number、negation、forbidden
或改动规则的失败会把该案例打到零;部分分数绝不能奖励那些破坏了契约强制部分的候选。
除此之外,qualifier 与 max_words 提供分数化的选择信号。所报告的 frac 结果是这些
逐案例分数的平均值,而不是全部 315 项检查中被满足的比例。这一区别防止了大量容易通过
的 forbidden 检查主导目标。
这个目标有两个性质,比它的细节更重要。
**参考改写不参与打分或优化。**它只在冻结之前被使用一次,作为一次诊断探针:如果一处 已知良好的改写与一条推导出的约束冲突,守卫会抛出断言,并要求一个立足于任务契约的人 类裁决。它自己不能删除或放宽约束。在编译与评估期间,参考改写与目标改写都不会进入指 标或它的反馈,因此没有参考答案能通过这个目标泄漏进搜索。
**失败有名字。**不是 0.967,而是 qualifier:regularly。
还有那个经典测试:ed-035——上一章的优化器靠删掉一个词弄坏的那句滤水器句子——产生
的约束是 qualifier:regularly。删掉那个词,现在是一个显式的具名失败,而不是一次舍入
误差。
3. 确定性不等于正确
本章的价值就在这里,因为第 9 章之后自然得出的结论是确定性指标是安全的那一类,而 这个结论是错的。
在任何一次模型调用之前,我们用新目标给冻结基线的现有输出打了分,并检视了结果。审计 发现了三个实现 bug,它们错误地把八个案例打成零分;还有第四个协议 bug,出在用于调查 六处约束与参考冲突的那个守卫里。
**空白字符的禁用词。**有些行带着像 "\n" 和 " " 这样的禁用值。去掉空白之后它们
变成空字符串,而空字符串是任何字符串的子串。四个案例因此被打成了永久失败。
**只有标点的改动被读成未改动。**改动规则关卡比较的是归一化后的文本,把标点当成了噪
声。ed-003 的整个编辑目标就是对话标点——正确的改写要加上引号并拆开句子。三个案例
因为恰好做出了被要求的改动,反而被错误地打成零分。
一次表面形式归一化的漏配。entity:200C 没有匹配到等价的表面形式 200°C。一个
案例被错误地打成零分。
**六处约束与参考的冲突。**六条机械推导出的约束没有被已知良好的参考改写满足。这并不 证明约束是错的,也不证明参考是决定性的。它证明的是推导、任务契约与答案键三者不一 致,而且在目标可以被冻结之前,需要一个显式的裁决。
前三个 bug 在不牵涉任何模型、随机性或判断的情况下,错误地给 44 个案例中的 8 个打了 分。第四个失败不同,也更危险:验证守卫没有产出一个明显错误的分数,而是在矛盾浮出水 面之前,悄悄改掉了目标。确定性买到的是可复现与可检视。它买不到正确性。一个确定性指 标可以每次都以同样的方式出错,让一个稳定的错误看起来像一个稳定的事实。
一个确定性指标不会自动成为正确的指标。它之所以变得可信,是因为它的规则可以被检视、可以被测试。
现在有十二个单元测试覆盖这个目标。这不是走过场——上面每一个 bug,都是这些测试本会 抓住的案例。
那个削足适履的守卫
第四个失败产出了最重要的流程修复。
第一版实现里有一个守卫:当参考改写无法满足某条推导出的约束时,守卫就把那条约束删 掉。这看起来很合理。它其实是在悄悄编辑测量仪器,好让它与答案键一致。
这与“调指标直到你的程序通过”是同一种失败,只是从相反的方向走来,还披着卫生措施的外 衣。
替代品从不改动任何东西。它运行检查,并断言:每一条参考无法满足的约束,都记录着 一个显式的人类裁决——理由来自句子、目标、上下文和任务契约,绝不来自参考。
由此得到六个裁决:
| 案例 | 约束 | 裁决 | 理由 |
|---|---|---|---|
ed-012 |
forbidden:It was 1994 |
移除 | 没有锚定的子串;它同样会命中可接受的模糊说法 “I think it was 1994” |
ed-012 |
qualifier:might |
保留 | 承载范围的不确定性标记;上下文表明叙述者是刻意不确定的 |
ed-017 |
max_words:13→15 |
提高 | 目标要求用 “tended to score” 替代 “also scored”——约束不允许这两个 token |
ed-021 |
max_words:15→17 |
提高 | 修复 “said…allegedly” 天然就会更长 |
ed-025 |
negation:1 |
移除 | 目标是平实的语言;“not later than X” 在它的平实形式 “within X” 里没有否定 |
ed-044 |
qualifier:if |
移除 | “if” 是目标所针对的礼貌框架的开头;它并不限制这个请求 |
在 315 条推导出的约束上的最终统计:309 条原样接受,一条经审查后保留,三条移除,两条 提高。每一处偏离都有记录,而理由都不提参考。
negation 检查也必须变得更聪明,而不是更简单。ed-011 把 “did not say very much”
改写成 “said little”——一个词汇化的否定,也是一处好改动。这个检查现在会把 little, few,
unable, hardly, lacks, fails 这类词按方向计入数量不足:它只能弥合差距,永远不能拉开
差距。ed-011 通过;真正加了一个否定的 ed-017 仍然失败。残余风险——用列表之外的词
把否定词汇化——被记录并接受,而不是被掩盖。
4. 运行之前先测量仪器
第 7 章介绍了实验夹具能检测到什么的算术。这次实验同样需要对目标做一次检查,而它本会 是拯救我们最多的那一步。
如果冻结基线已经满足了几乎每一条约束,优化器就没什么可改进的;一个平坦的结果会被读 成诊断错了,而它实际的意思是这台仪器没有空间。
所以我们先给基线打分,零次模型调用,复用磁盘上已有的七个冻结基线会话。下面方括号里 的值,是观察到的会话最小值与最大值:
| 仪器 | 基线 | 是否主导? |
|---|---|---|
| 仅分数化得分 | 0.806 [0.775–0.829] | 是——19 个百分点的余量 |
| 100% 满足率 | 0.761 [0.730–0.784] | 是——24 个百分点 |
| 每次会话可修复的失败 | ~9(qualifier 3,negation 1,max_words 5) | 是 |
satisfied / total,所有类型 |
0.946 | 否——被 137 项 forbidden 检查稀释 |
| 零事实违规率 | 0.973 | 否——基线几乎不破坏事实 |
最后两行才是要紧的。那个显而易见的聚合——满足的约束除以检查过的约束——读出来是
0.946,看上去无事可做。它被 137 项基线轻松通过的 forbidden 检查稀释了,因为一个本
来就不可能用禁用词的程序,会因为没用禁用词而拿满分。
选错头条数字,会把一个真实的 19 个百分点的差距看成 5 个百分点,我们就会得出结论说这 个实验没法跑。
由此得到一条值得推广的纪律:**在运行任何东西之前,先问你的候选聚合里哪一个真的能 动,并宣布它为主导。**对你的程序本来就已经通过的检查求平均,衡量的只是你写了多少容 易的检查。
这个余量也很窄、很具体,而报告对此是诚实的。实体、数字和禁用词已经接近完美——这些
约束充当下行探测器,优化器对它们只能保持或打破。所有空间都在限定词、否定和长度
上。而这正是 ed-035 的故事。
5. 两个实验臂
**臂 1——披露。**约束清单被加进程序的输入。这是一项合规任务,也是一个阳性对照:如果 在明确告诉程序要满足什么的情况下,优化仍无法改进合规,那么评测框架是坏的,下游的一 切都不可信。它不能隔离目标,因为程序的契约改变了。
**臂 2——不披露。**程序只看到 sentence、goal 和 context,与前面每一章完全一样。
约束只存在于评估那一侧。程序必须自己推断哪些 token 是承重的。
臂 2 是因果实验,它精确地重现了最初的情形:上一章里也没有人告诉模型 regularly 很重
要。
两个臂中 GEPA 的反馈都只有失败约束的名字——Failed constraint: max_words:12——绝不
是参考,绝不是目标句子。两个臂合计 149 次编译反馈调用中,参考泄漏为零。
6. 发生了什么
臂 2,开发家族,7 次配对会话。frac 是分数化得分;事实违规会把案例打成零分。
| 程序 | frac(均值,sd) | 100% 满足 | 事实硬失败 | 配对 Δ |
|---|---|---|---|---|
| 基线 | 0.9091, sd 0 | 0.909 | 0/77 | — |
| BootstrapFewShot | 0.9091, sd 0 | 0.909 | 0/77 | +0.0000, sd 0 |
| MIPROv2 (返回了基线状态) | 0.8442, sd 0.044 | 0.844 | 0/77 | −0.0649† |
| GEPA | 1.0000, sd 0 | 1.000 | 0/77 | +0.0909, sd 0 |
† MIPRO 返回了逐字节相同的基线状态。这个负值是残余解码非确定性之下、相同程序状态的两 次新生成之间的配对差值,不是编译候选的回归。第 7 节把状态层面的零效应与输出层面的方 差分开。
与上一章对照:
| 优化器 | 编辑 v1(配对) | 约束目标,臂 2 |
|---|---|---|
| BootstrapFewShot | +0.0003 | +0.0000 |
| MIPROv2 | +0.0199 | 选择了默认值;没有候选 |
| GEPA | 没有被接受的子代 | +0.0909,7/7 次会话 |
三个优化器结果里有两个改变了方向。MIPRO 从选择一个可复现地取得更高 v1 的候选,变成 返回默认状态。GEPA 从拒绝每一个子代,变成在每次会话中都选中一个。Bootstrap 在两个目 标下都净持平,不过新的逐案例记账显示,那是一次精确的交换,而不是噪声。
这些是测量不同属性的不同量表,所以不要拿一列去减另一列。可比的是方向、可复现性,以 及每个优化器究竟学到了什么。
7. 解读三个结果
**MIPRO 产出的是状态层面的零效应,不是回归。**它运行了 59 次编译指标调用,其中 48 次
高于阈值,没有找到任何在约束验证集上胜过默认值的指令,于是它返回了逐字节相同的基线
程序。从那个相同状态发起的新调用,仍然足够频繁地跨过 max_words 悬崖,产生了
−0.0649 的配对估计。因此实验记录了两个独立的事实:编译没有选中任何程序改动,而生成
仍然是非确定性的。
它先前的增益为什么消失了?因为那个增益来自指令改动,而这些改动是在一个词法指标下、
对照一个包含 ed-035 的验证集打分的。约束目标不奖励那些改动。搜索空间并没有缩小;
搜索它的回报缩小了。
**Bootstrap 的平坦结果是一次交换,不是噪声。**这是本章最锐利的机制性发现。在开发家
族上,它在全部七次会话中都修好了 ed-032——13 个词降到 10 个,满足 max_words。而
同样在全部七次会话中,它返回的 ed-038 与原文逐字节相同,这违反改动规则,得零分。
加七,减七,净正好为零,而且可复现。
这些示范取自那些最小改动就够用的简单训练案例,所以它们教的是保守。这对一个需要更短 句子的案例有用,而对一个本来就需要改动的案例则是致命的。上一章把 Bootstrap 的持平叫 作噪声。它不是噪声——它是纯示范搜索在这个程序上一种特定的、可复现的失败模式。
**GEPA 改进了,而且它的机制是可读的。**它在每次会话中都选中一个子代,+7 个案例、
−0,编译验证集从 0.909 → 1.000。它改写后的 analyze 指令包含显式的否定处理、
“preserve scope-bearing tokens”,以及 “stays within a maximum of 15 words”。
它是从读作 Failed constraint: max_words:12 的反馈字符串做到这一步的。
同样的搜索算法,同样 66 次指标调用的预算,同样的模型、同样的种子、同样的语料库。上 一章 GEPA 拒绝了它全部三个子代。这里它每次都接受一个。
**这个结果支持一个更窄的诊断:在词法指标下,GEPA 缺少可操作的反馈。**反思式优化器 假定一次失败携带的信息足以提示一处改动。第 9 章论证过,一个混合的标量指不出这样的目 标。在这次实验中,把那个标量反馈换成具名失败,就足以产生一个被可复现选中的指令改 动。由于子代是在同一个开发集上被选择和测量的,这确立的是搜索行为的改变,而不是泛 化。
8. ed-035 与那道地板
两个结果,收束了从第 2 章一路延续下来的线索。
**没有人删掉 regularly。**两个臂、全部七次会话中,每个程序都产出了唯一一个不同的
输出:
Using the filter regularly helps reduce limescale build-up in your kettle.
qualifier:regularly: PASS, 7/7.
精确地说清这展示了什么。冻结基线始终保留着 regularly——上一章的回归是优化候选引
入的。所以这是一个预防回归的结果:在一个把删掉那个词视为具名失败的目标下,没有优化
器删它。
editorial v1 : 删掉 "regularly" 代价 0.033,而优化器照做了
constraint : 删掉 "regularly" 是一个具名失败,而它没有删
**克制的地板消失了。**全部六个 unnecessary_edit 案例都以原样改动拿到满分——臂 2 中
的基线、Bootstrap、MIPRO 和 GEPA 都是 42/42。第 2 章预言过,一个无法表达“别动它”的契
约会传播成一个惩罚克制的指标;第 8 章把它测量为压在语料库 14% 上的一道硬性 0.65 封
顶。一个把“输出未改动”视为正当的目标,在克制本来就是正确的那些案例上,根本就没有这
个问题。
这个例外很有启发。臂 1 的 MIPRO 得分 35/42,因为约束被直接交给它之后,它变得过于积 极,去编辑本该保持不动的句子。明确告诉一个程序什么必须保持为真,显然会鼓励它用“做点 什么”来展示合规。
9. 这展示了什么,又没有展示什么
头条结论不是“可验证的目标让优化奏效”。GEPA 选中了一个有益的子代,MIPRO 返回了未改 动的基线,Bootstrap 通过一次精确交换净得为零。改变目标并没有统一地解锁优化。
它改变的是哪个搜索过程收到了有用的信号。
这把那道阶梯重新表述为一个关于信号类型与搜索机制的问题,而不是按精巧程度排出的名 次:
BootstrapFewShot 用指标过滤示范 → 示范既教了有用的克制,也教了有害的少改
MIPROv2 用一个标量选择程序状态 → 有界搜索里没有提案能胜过默认值
GEPA 用文本提案、用分数选择 → 一个具名失败提供了可操作的目标
这是对这些运行的说明,不是对优化器的普适分类。下面是四个诚实的局限,因为这个结果很 容易被过度解读。
**GEPA 是对着开发集选择的。**它的 +0.0909 是在它用于选择的那个验证集上测得的——与第 12 章赋予 MIPRO 编辑增益的地位相同。所选结果在七次全新会话中重复,全部使用同一份冻 结配置。这个幅度不是搜索之外的证据,重复的这些会话也不是七个相互独立的保留集。
**增益只有一个案例,而且在最没意思的那一类里。**开发基线本来就有 11 个中的 10 个是
完美的。GEPA 修好了第十一个 ed-032,靠把它缩短到满足 max_words。长度是六种约束
类型里最浅的一种。
**在促成整个实验的那一类上,GEPA 净得为零。**在合并的训练加开发诊断中,它修好了七
个 qualifier 失败,又引入了七个。Bootstrap——在起主导作用的开发聚合上毫无建树的那
个优化器——在同一项诊断计数上净得 +7。由于训练案例对优化器是可见的,这两个数字都不
是泛化结果。更重要的是,那个“奏效了”的优化器并没有改进 ed-035 所关乎的属性。
**获胜的指令有一部分是背下来的。**它硬编码了 “a maximum of 15 words”,并从一个特定 的训练案例里引用了两个短语。它能泛化到简短的开发句子上,而在一个本来就该很长的句子 上会失灵。GEPA 学到的是一个界,不是一个原则。
这些都没有推翻那个窄的发现。在整个开发家族上,每个程序在每个臂中贡献了 77 个案例运 行,没有一个产生 entity、number、forbidden 或 negation 的硬失败。GEPA 的方向改变重复 出现,它的机制在被选中的指令里清晰可见,而这个目标让上一章那个标志性回归变成了可以 被明确针对的对象。
但诚实的裁决是有保留的:在其余一切固定的情况下,改变目标对这次实验中 GEPA 的提案 与选择行为起到了承重作用。它并没有表明优化机制无关紧要,没有表明 GEPA 泛化到了它的 选择集之外,也没有表明确定性目标普遍更优。观察到的增益占据一条很窄的余量带,值一个 开发集案例,而且来自一个在用于选择它的那个集合上被测量的优化器。
由此得到的是一个预言,而不是一个结论。
如果 GEPA 的改进与它的反馈能说出多少成正比,那么一个失败自带测试名、期望值、实际值 和回溯信息的任务,应当是它在本书中的最佳情形。这不是论证。这是一件要去测量的事,而 本书的后半部分会去测量它。
通常会出什么错
| 症状 | 可能原因 | 如何诊断 | 改什么 |
|---|---|---|---|
| 新目标和更大的预算一起改善了结果 | 两个变量动了 | 检查是否有配置随着指标一起变了 | 一次只改一样东西;便宜的指标不是许可 |
| 确定性指标产出不可能的分数 | 空字符串匹配、归一化或边界 bug | 给已知良好的参考打分并检视每一次失败 | 在信任单次运行之前先给指标做单元测试 |
| 设置过程中约束悄悄消失 | 有守卫在改测量仪器以迁就答案 | 找出依据参考去改动指标的代码 | 改成断言,并要求记录在案的人类裁决 |
| 聚合说没有余量 | 它被基线总是通过的检查稀释了 | 运行之前分别计算每个候选聚合 | 宣布一个主导仪器,并说明理由 |
| 一个优化器的增益是平的,被叫作噪声 | 它可能是一次相互抵消的交换 | 逐案例、逐会话、两个方向比较 | 分别统计修复与回归 |
| 反思式优化器提不出有用的东西 | 它的反馈是一个数字 | 读它实际收到的反馈字符串 | 在换优化器之前先让失败可具名 |
| 获胜的指令含有来自训练数据的字面值 | 优化器背下了一个界 | 从头到尾读一遍被选中的指令 | 在它背下来的范围之外的案例上测试 |
| 选择集上的增益被报告成了一次改进 | 选择证据被当成了独立证据 | 检查优化器的验证集属于哪个划分 | 把它报告为选择证据,或者花掉一次保留集 |
本章小结
我们把语料库、程序、模型、优化器配置和配对评测框架固定住,然后改变了目标。MIPRO 可 复现的编辑增益变成了状态层面的零效应。Bootstrap 通过一次精确的“修好一个、回归一个” 的交换保持持平。GEPA 从拒绝每一个子代,变成在全部七次会话中都选中一个在开发集上得分 +0.0909 的子代,而开发家族没有出现新的硬失败。
机制是核心发现。具名反馈给了 GEPA 一个可操作的变异目标,而混合的词法标量没有给出这
样的目标。但这是选择证据,不是泛化:增益是 max_words 上的一个案例,获胜的指令背下
了一个 15 词的界,而在更广的训练加开发诊断中,GEPA 在 qualifier 失败上净得为零。
目标本身在值得信任之前,也需要修复。三个实现 bug 错误地把八个案例打成零分。第四个协 议 bug 让参考守卫去编辑测量仪器。十二个测试和六个记录在案的人类裁决让指标变得可检 视;单靠确定性并没有让它变正确。
因此,得到许可的结论更窄也更强:DSPy 的优化对目标敏感、对优化器依赖。改变目标,改变 了搜索奖励什么、哪些回归变得可见,以及哪个优化器收到了可用的指引。它没有让每个优化 器都变得有效,也没有把一次开发集上的选择变成一个经过独立验证的改进。
编辑任务到此已经把我们带到了它能到的最远处。修复那几章会进入这样一个阶段:解析、作 用域检查、公开测试、回归测试和密封的隐藏测试,可以在外部确立更多的正确性。这不会消 除判断,但它给下一个预言留了一个难躲得多的藏身处。
具名的、可执行的失败证据,能否在优化器密封过的案例上产出更好的修复?