优化指令
让 MIPROv2 在指令与示范上搜索,把它找到的改进一路分解到产出它的那一个案例,再看着第二个优化器像第一个一样弄坏同一句话。
第 11 章的优化器只能挑选示范。它从不触碰指令,也从不查看开发集——这就是为什么 升级它的指标什么也没改变。
MIPROv2 两样都做。
指令候选
+
示范候选
+
指标
+
开发数据
↓
候选程序
这是一场严格更大的搜索,作用于严格更大的空间,并对着前一个优化器看不到的证据做 评估。如果第 11 章的结果是一个弱机制造成的假象,这里就是它被纠正的地方。
它确实被纠正了,部分地。MIPROv2 找到了第 11 章找不到的真实改进。它也以同样的方 式、因为同样的理由,弄坏了同一句话。
1. MIPROv2 搜索什么
MIPROv2 为每个预测器生成少样本示例和新指令,然后在预算之下搜索它们的组合:
flowchart TD
BE[自举少样本示例] --> PI[提出指令候选]
PI --> EC[对照验证集评估组合]
EC --> B{还有预算?}
B -->|是| PI
B -->|否| BEST[返回已找到的最佳状态]
指令候选由一个语言模型提出,参考了训练数据的摘要、程序结构、自举出的示例以及采 样得到的生成提示。这意味着流水线中出现了第二个模型角色——提示词模型,它负责 写指令;区别于执行指令的任务模型。第 6 章的来源(provenance)表警告过这两者 应当分别记录,而这里正是它要紧的地方:如果提示词模型变了,搜索路径就变了,哪怕 其他什么都没变。
与第 11 章相比,真正要紧的区别是验证集。MIPROv2.compile 接收一个 valset,
并对照它评估每一个候选组合。所以与 BootstrapFewShot 不同,这个优化器的指标
确实会看到开发案例——而且按设计反复看到。
先记住这一点。它会改变第 6 节里开发分数的含义,也解释了为什么这里的 v2 结果在性 质上不同于第 11 章。
2. 编译形态与预算
import dspy
def compile_mipro_candidate(trainset, devset):
student = EditorialRewriteProgram()
optimizer = dspy.MIPROv2(
metric=dspy_editorial_metric_v1,
auto=None,
num_candidates=2,
seed=13,
metric_threshold=0.7,
max_bootstrapped_demos=2,
max_labeled_demos=0,
)
return optimizer.compile(
student,
trainset=trainset,
valset=devset,
num_trials=4,
minibatch=False,
)
注意 auto=None。DSPy 的默认值是 auto="light",它会替你选一个预算;把它设为
None、并显式指定 num_candidates 和 num_trials,意味着搜索规模是一个被记
录下来的实验参数,而不是一个可能随版本变化的框架默认值。
这不是文体上的偏好。一场重型搜索找到的候选与一场小型搜索找到的候选是不同的产
物,而一份写着 auto="light" 的清单记录的是一个策略的名字,而不是搜索的规模。
数据边界没有改变:26 个训练案例、11 个开发案例作为验证集,保留集被排除在外、从 未被检视。
MIPRO_CONFIG = {
"optimizer": "MIPROv2",
"auto": None,
"num_candidates": 2,
"num_trials": 4,
"seed": 13,
"minibatch": False,
"metric": "editorial_metric_v1",
"train_case_ids": TRAIN_IDS, # ed-001 … ed-028, 7 families
"dev_case_ids": DEV_IDS, # ed-003, ed-029 … ed-038, 3 families
"holdout_case_ids": HOLDOUT_IDS, # excluded from compile
}
3. 搜索返回了什么
MIPROv2 选中了一个被改动过的候选。它重写了 analyze 和 rewrite 预测器上
的指令,并挂上了三条来源为 ed-020 的自举示范。
先从那一次 11 案例的开发评估看起,和第 11 章一样:
| 程序 | 指标 v1 | 指标 v2 |
|---|---|---|
| 冻结基线 | 0.7893 | 0.7893 |
| MIPROv2 候选 | 0.8192 | 0.7586 |
| 单次运行差值 | +0.0298 | −0.0308 |
与第 11 章相同的形态,两个方向上的数字都更大。在我们对着搜索的指标上上升,在能 看出含义的指标上下降。而且,完全像第 11 章一样,单次运行还不是效应估计——第 4 节 在七次配对会话中重复它。
记录在案的搜索开销:
| 搜索资源 | 实测 |
|---|---|
| 耗时 | 404.8 s |
| 提示词模型历史条目 | 4 |
| 提示词模型 token | 6,523 |
| 任务模型历史条目 | 168 |
| 任务模型 token | 79,084 |
| 优化器指标调用 | 56 |
大约 85,600 个 token、七分钟,把十一个案例上的开发均值推动了 0.03。这算不算贵, 完全取决于那个 0.03 到底是什么——也就是第 4 节。
4. 分解这个提升
+0.0298 的单次运行差值越过了第 6 章的 ±0.015 噪声地板,所以不像第 11 章的提升, 它显然不是噪声。但聚合只是一个摘要,而第 8 章的教训是:摘要是你算出来的东西里信 息量最少的。所以把它拆开。
五个案例动了。六个没动。
| 案例 | 基线 | 候选 | 变化 | 对均值的贡献 |
|---|---|---|---|---|
ed-029 |
0.650 | 1.000 | +0.350 | +0.0318 |
ed-033 |
0.818 | 0.927 | +0.109 | +0.0099 |
ed-035 |
1.000 | 0.967 | −0.033 | −0.0030 |
ed-003 |
0.877 | 0.846 | −0.031 | −0.0028 |
ed-038 |
1.000 | 0.933 | −0.067 | −0.0061 |
| 合计 | +0.0298 |
算术完全对得上,而且它说出了聚合完全掩盖掉的东西。
**仅 ed-029 一个就贡献了 +0.0318——比报告出来的全部提升还多。**优化器所做的其
他一切净效果是 −0.0020。动了的五个案例里有四个变差了。
那么 ed-029 上发生了什么?它是一个对话案例,target_failure 为
invalid_output,而基线一次也没有修好过它——在我们跨所有章节做过的每一次运行
中,它都恰好停在 0.650,那个什么都不做的地板上。MIPRO 重写后的指令告诉程序保留
所有关键信息,这就够了。该案例达到了完美的 1.000。
这是一次真实的、可复现的、机理明确的改进。一个优化器提出了一条人类没有写过的指 令,而它修好了一个由人类写的指令从未修好的案例。这正是指令优化该做的事,而且它 成功了。
另一个表面上的提升就没那么可信了。ed-033 是第 6 章那个咖啡句子,它有两条吸引
子改写——基线在不同会话中两种都会产出,视日子不同值 0.818 或 0.927。它 +0.0099
的贡献很大程度上就是那场抬高了第 11 章结果的同一个掷硬币。
把它剔除掉,诚实的摘要就是:MIPROv2 修好了一个案例,让三个略微变差,在第四个 上走了运。
这是一个真实的结果。它也比"+0.03 的改进"所暗示的小得多,而没有逐案例的表格你就 看不到它。
在七次配对的新鲜进程会话中,聚合 v1 差值 +0.0199,每一次会话都完全相同
(SD 0.0000),候选在 7 次中 7 次领先。不像第 11 章的自举提升,这个提升在配对
之下没有塌缩——它是真的、可复现的。它只是比单次运行小,那次运行恰好赶上了
ed-033 较高的那条改写。配对的 v2 差值是 −0.0407,同样在各次会话间完全相
同:那个抬高了目标的候选,每一次都拉低了独立检查。+0.0199 是应该带下去的数字。
5. 又是 ed-035
现在来看那张表里我们还没讨论过的一行。
ed-035 在 v1 下从 1.000 掉到 0.967——贡献为 −0.0030,在聚合里看不见,与四舍五
入无从区分。
在 v2 下它从 1.000 掉到 0.300。
这就是第 11 章弄坏的那个案例,而且坏的方式一模一样。候选从过滤器那句话里删掉了
regularly,把一个以经常使用为条件的主张变成了无条件的产品主张。LM 评审器返回
violated,原因是 scope_changed。封顶规则生效了。
照第 4 章那样算同一笔账:
ed-035 在 v1 下的惩罚: 0.033
ed-035 在 v2 下的惩罚: 0.700
额外的 v2 惩罚: 0.667
摊到 11 个案例: 0.667 / 11 = 0.0606
v1 差值 − v2 差值: 0.0298 − (−0.0308) = 0.0606
(配对: 0.0199 − (−0.0407) = 0.0606)
**两个指标之间的全部分歧就是一句话。**就像第 4 章一样,在那里 ed-025 的交付与
收货之替代解释了全部差距,精确到小数点后四位。
现在再想想,是什么让这成为本书最重要的结果。
第 11 章的优化器从四个文学性训练案例中挑选示范。第 12 章的优化器重写指 令,这些指令由语言模型提出、参考了全部 26 个训练案例的摘要,并通过 56 次指标 评估对着 11 个开发案例做选择。
不同的机制。不同的证据。不同的搜索空间。相差一个数量级的算力。
两者都产出了一个从 ed-035 中删掉 regularly 的候选。
这不再是一个优化器的怪癖。这就是把这个指标最大化所做的事情。两个独立的搜索过 程,在给定同一个目标的情况下,找到了同一个钻空子的打法——因为空子不在优化器 里,而在目标里。v1 为简洁付费,看不见条件性,于是两场搜索都学会了删掉一个限定 词,而且都因此得到了奖励。
这里有个值得停下来的反讽。MIPRO 选中的那条指令——修好 ed-029 的那条——告诉程
序保留所有关键信息。而同一个候选随后从一条受监管的主张中丢掉了关键的限定词。
指令本身没有错。循环里没有任何东西能告诉它哪些信息是关键的,因为它拥有的唯一信
号是一个同样什么都不知道的分数。
6. 开发数据不是保留集数据
MIPROv2 对照开发集评估了 56 次候选组合。那十一个案例不再是关于候选的中立证据; 它们参与了挑选。
这不是不当行为。这正是开发集的用途。但它改变了这个数字的地位:
train: 构造候选的原料
dev: 在候选组合之间做选择 ← 这里被用了 56 次
holdout: 搜索停止后测试被选中的候选,只测一次
候选的 0.8192 是选择证据。它是所有试过的配置中得分最高的那一个,在用于尝试 它们的那份数据上的分数——按构造就是一个有偏估计:你搜索得越多,拟合掉的开发集噪 声就越多。
第 11 章的候选处境不同:BootstrapFewShot 从不触碰开发集,所以它的 0.8005 更接
近一个诚实的搜索之外估计。这两个数字不能直接比较,尽管它们出自同一套协议。
这就是为什么"我们没有在测试集上训练"是一句不充分的辩解。如果一个搜索过程在观察 了某个集合上的表现之后挑选了候选,那么无论目录叫什么名字,那个集合都已变成开发 数据。唯一保持独立地位的是还没有被任何人看过的那些案例,它们有七个,仍然封存 着。
7. 三个阶段,同一个模式
| 程序 | 指标 v1 | 指标 v2 | 配对 v1 Δ | 变了什么 |
|---|---|---|---|---|
| 冻结基线 | 0.7893 | 0.7893 | — | — |
| BootstrapFewShot 候选 | 0.8005 | 0.7399 | +0.0003 | 12 条示范,4 个训练案例 |
| MIPROv2 候选 | 0.8192 | 0.7586 | +0.0199 | 2 条重写的指令,3 条示范 |
(v1 和 v2 两列取自一次有代表性的会话;配对一列是七次会话的均值。)
两个优化器都提升了目标。两者都拉低了独立检查。两者都弄坏了 ed-035。
两者都没有越过第 19 章将要采用的 0.05 晋升门槛——自举的配对提升落在噪声带之内,
MIPRO 的 +0.0199 远低于这个门槛——所以按本书的策略,两者都不是晋升候选;而这
还没算上:两者在 v2 下都比它们本应改进的那个程序更差。
化学 TPSA 项目 在这里是一个有用的对照。它在一套可比的协议内运行 MIPRO——划分数据、保存程序、 消融——但它的目标是一个带有无歧义误差度量的物理量。当指标是对着已知值的 MAE 时, 本章的这些歧义根本不存在:误差更低就是更好的程序,句号。编辑质量没有这样的锚 点,这就是为什么指标需要被攻击、结果需要被分解。
一般的教训不是优化器不可信。而是:优化器是你指标的忠实放大器,它越有效,就 越精确地把你的指标搞错的地方表达出来。第 11 章用 6,195 个 token 放大了一个盲 点。第 12 章用 85,600 放大了同一个盲点。
8. 持久化产物
candidate.save("artifacts/editorial_mipro_candidate.json")
write_manifest(
"artifacts/editorial_mipro_manifest.json",
{
"program": "editorial_rewrite_program",
"candidate_version": "0.3",
"optimizer": "MIPROv2",
"optimizer_config": MIPRO_CONFIG,
"metric": "editorial_metric_v1",
"instructions_changed": ["analyze", "rewrite"],
"demo_source_case_ids": ["ed-020"],
"dev_metric_calls": 56,
"search_tokens": 85_607,
"model": "recorded_at_runtime",
"prompt_model": "recorded_at_runtime",
"dspy_version": "recorded_at_runtime",
},
)
这里有两个第 10 章的清单不需要的字段。instructions_changed 记录优化器重写了哪
些预测器,因为一个改动了指令的候选,与一个只增加了示范的候选是不同种类的产物。
第 3 章关于持久性的警告如今真的发生了,而清单应该把它说出来。dev_metric_calls
记录开发集被用得有多狠,这个数字决定了第 6 节里选择分数要打多少折。
产物必须回答的问题没有变:
以后还能有人重跑或审计这个实验吗?
通常会出什么错
| 症状 | 可能的原因 | 如何诊断 | 改什么 |
|---|---|---|---|
| 一个提升越过了噪声地板却仍然误导 | 聚合掩盖了相互抵消的逐案例变动 | 逐案例分解差值,并核对它们的加总 | 报告哪些案例动了,而不只是均值 |
| 全部改进就是一个案例 | 真实,但比标题所暗示的窄得多 | 计算每个案例对均值的贡献 | 按数据所能支撑的分辨率陈述发现 |
| 开发分数上升,保留集下降 | 搜索拟合了开发噪声 | 跨划分比较失败分类 | 缩减搜索预算、增加案例,或给选择分数打折 |
| 两个优化器犯了同一个错 | 空子在指标里,不在优化器里 | 找出两个候选都损害的案例 | 修好目标;换一场搜索没用 |
| 指令说对了,程序做错了 | 循环里没有任何东西能界定"关键"是什么 | 检查这条指令是对照什么信号被打分的 | 把该性质编码进指标,而不是散文里 |
| 搜索消耗的算力远超预期 | 预算被留给了框架默认值 | 检查清单里的 auto、num_candidates、num_trials |
显式设定预算并记录下来 |
| 候选无法复现 | 指令和示范被保存了,却没有清单 | 检查产物目录 | 保存状态,连同优化器、数据、模型与指标的身份 |
| 写在 docstring 里的约束消失了 | 优化器重写了包含它的指令 | 把候选指令与原始指令做 diff | 把持久的约束移进字段描述或指标 |
本章小结
MIPROv2 用七分钟和 85,600 个 token 搜索了指令与示范的组合,返回了一个被改动过的
候选:两条重写的指令、三条示范,以及 0.8192 的开发分数,对比基线的
0.7893——配对 v1 提升 +0.0199,在全部七次会话中完全相同。
分解之后,这个提升——七次配对会话中可复现的 +0.0199——就是一个案例。
ed-029——一个 invalid_output 案例,基线在任何章节的任何一次运行中都从未修好
过——从 0.650 的地板升到完美的 1.000,单它一个就贡献了 +0.0318。优化器所做的其他
一切净效果是 −0.0020,而其中一个表面上的提升是那句不稳定的咖啡句子照它惯常的方
式翻了一次。
所以诚实的报告是:一个语言模型写了一条指令,修好了一个连人类都没修好的案例,同 时为此让另外三个案例略微变差。这是一个真实的结果,也比那个标题数字窄得多。
在 v2 下候选得分为 0.7586,低于基线。两个指标裁决之间的全部 0.0606 差距就是
ed-035——第 11 章弄坏的同一句话,被一个机制完全不同的优化器以同样的方式损害。
这种复现本身就是发现。一个优化器从四个文学案例中挑选示范,另一个优化器在对照开 发集做了 56 次评估之后用语言模型写指令,两者各自独立地得出了同一处编辑。空子不 在任何一场搜索里。而在它们共享的那个目标里。
我们去掉了一个假设:人类撰写的指令是固定的。也去掉了一个假设:更大的搜索会产生 更可信的结果。更大的搜索只会对你告诉它想要的东西探索得更彻底。
剩下的是:两个优化器每个候选都只得到一个数字,而没有任何解释。ed-035 在 v1 下
得分 0.967;没有哪个优化器被告知是哪个词出了问题,因为一个标量说不出来。
当优化器收到的是语言形式的反馈而不是一个分数时,会改变什么?