少样本优化
编译一个少样本候选,看它提升一个指标、损害另一个指标,再弄清为什么改成对着更好的指标编译,结果什么也没有改变。
第 10 章产出了一个候选,却拒绝说它到底好不好。本章来说。
这个机制是少样本优化,问题也很实际:
我们能不能通过挑选更好的示范(demonstrations)来改进程序,而不是自己动手重 写程序?
在我们的实验夹具(fixture)上,这个答案是本书最有趣的结果。在一次运行中,候 选似乎提升了我们对着优化的那个指标,同时损害了我们没有对着优化的那个指标。在 七次配对的新鲜进程会话之下,表面上的 v1 提升塌缩到几乎为零,而 v2 的损失依然 巨大且系统性。
接着我们尝试那个显而易见的修补办法:改成对着 v2 编译。得到的候选与对着 v1 编 译出来的候选逐字节相同。
因此本章给我们三个不同的事实,它们不能被折叠成一个分数:一个带噪声的聚合提 升、一次可复现的语义回归,以及一次对候选毫无影响的客观改动——因为相关的失败根 本进不了这个优化器的编译循环。
1. BootstrapFewShot 做了什么,它的指标看到了什么
BootstrapFewShot 为程序里的每个预测器构造示范。有些来自带标注的示例;有意思
的那些是自举出来的——在训练案例上运行程序,只有指标认可时才保留那条轨迹。
flowchart TD
TE[训练示例] --> AT[学生程序尝试每个案例]
AT --> CT[候选轨迹]
CT --> MF{指标通过?}
MF -->|是| DEM[轨迹成为一条示范]
MF -->|否| DROP[丢弃]
DEM --> CS[编译后的学生程序]
这个过滤器就是整套机制:
只有满足指标的轨迹才会成为行为指导。
第 9 章已经告诉过我们,这在这里意味着什么。对于那些颠倒了源文本含义中重要部分
的候选,v1 会给出非常高的分数——在三个典型攻击上大约是 0.85 到 0.96。
因此,一条自举出的示范只是一条轨迹通过了编译指标的证据。它不是这条轨迹在语 义上安全、能代表目标领域、或能被人类评审者接受的独立证据。
但要留意这个指标被用在什么地方,这一点更具体,因为它会成为第 7 节的关键。过滤
器只在训练轨迹上运行。编译期间指标从未见过任何开发案例。BootstrapFewShot
没有验证集——第 10 章已经指出,compile 只接收 student、teacher 和
trainset,别无其他。
所以编译指标可纳入的视野是那 26 个训练案例。而这次运行的实际视野还要更窄: 五条训练轨迹被打分,四条越过阈值,这四条成为所保存示范的来源案例。
2. 编译候选
import dspy
def compile_few_shot_candidate(trainset):
student = EditorialRewriteProgram()
optimizer = dspy.BootstrapFewShot(
metric=dspy_editorial_metric_v1,
metric_threshold=0.7,
max_bootstrapped_demos=4,
max_labeled_demos=0,
max_rounds=1,
)
return optimizer.compile(student=student, trainset=trainset)
然后在第 8 章那套冻结协议之下评估两个程序——同样的模型、同样的案例、同样的指 标,保留集未被触碰:
baseline = EditorialRewriteProgram()
candidate = compile_few_shot_candidate(trainset)
evaluate_dev = dspy.Evaluate(devset=devset, metric=dspy_editorial_metric_v1)
baseline_dev = evaluate_dev(baseline)
candidate_dev = evaluate_dev(candidate)
原始实测的 v1 编译耗时 30.9 秒、消耗 6,195 个任务模型 token。自举过程中
指标被调用了五次;四条轨迹越过了 0.7 阈值。
两个计数都要记下来。检查了五条轨迹,接纳了四条。候选的来源与优化器消耗的来源不 是同一个统计量。
3. 它选择了什么
四条被接纳的轨迹,分布在三个预测器上:
| 预测器 | 示范 |
|---|---|
analyze |
4 |
rewrite |
4 |
assess |
4 |
总共十二条示范,全部是自举出来的,全部可以追溯到四个训练案例之一:ed-001、
ed-002、ed-006、ed-007。
二十六个案例中有四个提供了所保存的示范,但优化器为此检查了五条训练轨迹。
按规范的训练顺序,它们是 ed-001、ed-002、ed-005、ed-006 和 ed-007。四
条越过了阈值:ed-001、ed-002、ed-006 和 ed-007。ed-005 被评估后遭拒。
这就得到了第 10 章要求我们记录的消耗漏斗:
- 26 个训练案例是可纳入的;
- 5 条被编译指标检查过;
- 4 条提供了示范;
- 21 个在这次编译中从未被触及;
- 22 个没有给候选提供任何示范。
因此,把 max_bootstrapped_demos 从 2 提高到 4 扩大了被检查的前缀,但它仍然把大
部分可用的训练证据挡在候选构造之外。
来源检查干净地通过了。没有任何开发案例变成示范。没有任何保留集案例出现在编译 证据里。每一条保存的示范都能解析到一个已知的、带有完整轨迹的训练案例。
因此我们可以精确地区分三个问题:
- 证据是可纳入的吗? 是。
- 哪些证据被检查并选中了? 检查了五条,选中了四条。
- 被选中的示范对每个开发家族都是好的指导吗? 这仍然是一个经验问题。
划分的正确性是必要的。它不是示范的质量。
4. 结果
首先,保留原始的单次运行结果,因为它暴露了具体的机制。在那一次 11 案例的开发 评估中,基线与候选的得分为:
| 程序 | 指标 v1 | 指标 v2 |
|---|---|---|
| 冻结基线 | 0.7893 | 0.7893 |
| 少样本候选 | 0.8005 | 0.7399 |
| 差值 | +0.0112 | −0.0494 |
在这一次测量场合里,候选在用于编译的指标下更高,在语义护栏下更低。
先不要把这些差值晋升成最终的效应估计。第 6 节在七次新鲜进程的配对会话中重复这 次比较,把对这个正数的解释彻底改变了。
这次单次运行真正擅长的是诊断:它给了我们确切的案例和确切的句子去检视。
逐案例的分解显示了问题在哪里:
| 案例 | v1 | v2 | 备注 |
|---|---|---|---|
ed-032 |
0.782 → 0.818 | 0.782 → 0.818 | 本次运行中更高 |
ed-033 |
0.818 → 0.927 | 0.818 → 0.927 | 本次运行中更高;已知的会话敏感案例 |
ed-036 |
0.956 → 1.000 | 0.956 → 1.000 | 本次运行中更高 |
ed-003 |
0.877 → 0.877 | 0.877 → 0.877 | 典型案例,未变化 |
ed-035 |
1.000 → 0.967 | 1.000 → 0.300 | 限定词丢失;语义违规 |
ed-038 |
1.000 → 0.967 | 1.000 → 0.967 | 轻微的结构性损失 |
ed-029, ed-030, ed-031, ed-034, ed-037 |
0.650 → 0.650 | 0.650 → 0.650 | 停在结构性下限,未变化 |
本次运行中有三个案例上移。五个仍然钉在 0.650。ed-038 在两个指标下都损失
0.033。而 ed-035 在 v1 下只损失 0.033,在 v2 下却损失 0.700。
这就是两个指标分歧如此剧烈的原因。v1 把 ed-035 的这次编辑看作若干普通案例变
动中的一处微小词汇损失。v2 则把它看作一次取消资格的语义事件。
5. ed-035
ed-035 属于营销文案家族。规范的源句子是:
Using the filter regularly can help reduce limescale build-up in your kettle.
编辑目标是*让收益陈述更直接。*上下文说明这是一个受监管的品类,主张必须停留在
helps reduce,不能变成 prevents。
参考改写是:
Using the filter regularly helps reduce limescale build-up in your kettle.
案例还记录了两条语义约束:
- 让主张停留在
helps reduce,而不是prevents或eliminates; - 这个收益取决于经常使用。
冻结基线完全按参考改写产出,得了 1.000。少样本候选返回的是:
Using the filter helps reduce limescale build-up in your kettle.
少了一个词。regularly。
作为一行文字编辑,这一刀是合理的。regularly 看上去像是可以丢弃的修饰性语言,
剩下的句子更干净、也完全合乎语法。这不是一个在胡言乱语的模型。
还值得看看这个案例真正的目标。模型被要求让收益陈述更直接,而不是笼统地追求
最简洁。把 can 从源句里去掉、变成参考改写,满足了这个目标,同时保留了条件。删
掉 regularly 则更进一步,改变了主张所依赖的东西。
但在这个夹具里,regularly 不是装饰。它承载着语义约束明确点名的那个条件。
有了它,主张说的是经常使用的收益。没有它,这句话把收益归因于使用过滤器,却 没有保留那个条件。
确立这次回归并不需要一个辖区级别的法律主张。候选按自己的表述就违反了冻结的任 务要求。
对于这有多重要,两个指标意见不一。
**v1 计了 0.033。**候选仍然与参考共享几乎全部词汇,仍然改了点东西,仍然没有越 界。删掉一个副词几乎算不上一次词汇事件,所以分数从 1.000 掉到 0.967——在结果表 里读起来就是噪声。
**v2 计了 0.700。**LM 评审器(LM judge)对照记录在案的经常使用约束评估了候选,
返回 violated,原因码是 meaning_weakened,而违规封顶把分数从结构上的
0.967 拉到 0.300。
正如第 9 章所确立的,这个裁决来自一道经过验证、但仍然是同一模型的语义护栏,而 不是一个独立的权威。在这里,有争议的文本和那条约束都简单到可以直接检视。
这与第 4 章的 ed-025 密切相关:在那里 Predict 把一个截止期限触发条件从
delivery 改成了 receiving the item。
表面上的操作不同——ed-035 删掉一个承载范围的词,而 ed-025 替换掉一
种事件描述——但指标上的失败是同一个:一处词汇上很小的编辑,改变了一个结构性分数
无法表示的条件或范围。
这两个例子之所以危险,恰恰因为产出的行文依然流畅、读起来依然合理。
现在回想一下保存下来的示范来自哪里。那四个来源案例——ed-001、ed-002、
ed-006 和 ed-007——只属于 chapter-opening 和 close-third-narration。
没有任何营销、法律、技术、新闻或说明文家族为这个候选贡献示范。这种集中度给了我 们一个跨领域风格迁移的可能机制:那些奖励在文学性散文中收紧的示例,可能会让后续改 写偏向类似的压缩。
但我们没有做过示范家族的消融,所以不要声称那四条示范导致了 regularly 被
删。经测量的主张更窄:一个由集中在两个文学家族的示范构建出来的候选,在一个未见
过的营销家族上产生了 ed-035 的回归。
因此,第 10 章的覆盖发现与本章的失败可以直接连起来,而不需要一个我们未曾检验过 的因果故事。
6. 这个提升是真的吗?
单次运行的 +0.0112 结果已不再是聚合效应的正确证据。我们在七次新鲜进程会
话中重复了这次比较,逐案例配对候选与基线,并轮换执行顺序。
结果:
| 配对候选 − 基线差值 | 均值 | SD | 范围 | 解读 |
|---|---|---|---|---|
| v1 | +0.0003 | 0.0016 | −0.0020 至 +0.0013 | 无可测量的聚合改进 |
| v2 | −0.0603 | 0.0016 | 稳定为负 | 大幅的系统性回归 |
v1 候选的聚合差值在七次会话中的五次为正,另外两次为负,而均值稳稳地落在配
对 SD 之内。因此,原来的 +0.0112 并不是什么藏在启发式噪声阈值附近的微小效
应;它是一个测量场合下的结果,在更强的配对设计下塌缩了。
ed-033 解释了为什么早先那次运行特别容易犯这个错。在早先的会话里,未改动的基线
本身就可能落在该案例的另一种改写上。在这批七次会话的配对中,基线恰好是稳定的,
但配对防止了那个历史性的会话效应被误读成候选效应。
语义结果的表现则不同。候选在每一次运行中都把 ed-035 打到 v2 的 0.300,
而配对的聚合 v2 损失大约是观测到的配对 SD 的三十八倍。
所以站得住脚的说法是:
少样本候选在配对实验中的 v1 之下没有可测量的聚合优势,同时它引入了一次可复现 的语义回归,而 v1 把这次回归计价为一处微小的词汇改动。
这就是本书坚持把候选生成与晋升分开的原因。如果我们只跑到第一次运行、报告
+0.0112、仅凭符号就晋升,我们就会有一个数值上的理由,去接受一个可复现地从
ed-035 中丢掉一个条件的候选。
问题不在于第一个数字是捏造的。它是一次真实的测量。问题会在于:把一次测量场合当 作替换生效版本的充分证据。
7. “那为什么不改成对着 v2 编译?”
这是最显然的反驳,而我们做了这个实验。
设置:同一个训练集、同一个优化器、同一个阈值和示范预算,只是把编译指标从 v1 换 成 v2。
如果这次回归是 v1 接纳了一条 v2 会拒绝的训练轨迹所造成的,那么这次干预应该改变 被选中的示范。这才是这个实验实际检验的机制。
结果:
**两条编译分支产出了完全相同的候选状态。**不只是示范 ID 相同:保存的候选文件逐 字节相同,共享同一个 Git blob。
两者都包含十二条示范,来自同样那四个被接纳的案例,并且在三个预测器上的分布完全 相同。
这次客观改动确实有代价。在对照分支中,v1 编译耗时约 26.4 秒,调用指标 5 次、 评审器 0 次;v2 编译耗时约 41.5 秒,同样调用指标 5 次,另加 12 次语义评审 器调用,消耗的任务模型 token 则同样是 6,195 个。
多出来的语义评估改变了账单,却没有改变候选。
在最初的一次性开发评估中,两个逐字节相同的候选自然产出相同的分数。在后来交错进 行的七次会话实验中,尽管保存状态完全相同,它们却表现出微小的分数差异。这是一处 有用的阴性对照:那些差异是测量顺序与运行时的波动,不是程序差异。
ed-035 在候选状态之下依然会破。
解释就在第 1 节。BootstrapFewShot 把它的编译指标应用在训练轨迹上。每条分支
都给五条轨迹打了分;同样那四条在 v1 和 v2 之下越过了 0.70 阈值。
因此语义评审器有十二次逐约束的机会去改变 v2 分支的接受/拒绝决定,却一次也没有 改变。被接纳的示范集合保持不变。
而 ed-035 是一个开发案例。它根本进不了编译循环。无论在哪个版本下,编译指标都
从未被问及它,因为 BootstrapFewShot 没有提问的机制。
编译可访问的案例: 26 个训练案例
实际被打分的轨迹: 5
被接纳为示范的轨迹: 4
观察到回归的位置: 开发案例 ed-035
ed-035 的编译暴露: 无
这个教训比一条关于编译指标的普适主张更窄:
仅把编译指标从 v1 换成 v2,在这个语料库和
BootstrapFewShot配置之下并没有消 除这次回归。
为什么?ed-035 是开发侧的证据,从不进入这个编译循环;而那些确实进入循环的训
练轨迹决定,在 v2 之下没有改变。
不同的训练语料库、顺序、阈值、示范预算、优化器或指标都可能改变候选生成。第 12 章 之所以重要,正因为 MIPROv2 在搜索期间会使用开发证据,所以 v2 在那里会有不同的行 动机会。
实际的后果是:一个更好的指标不能替代在循环之外做评估。无论你对着什么编译,总得 有某种独立的东西来看产出的结果。
8. 标注示范与自举示范
值得把这两类说清楚,因为它们带来的风险不同。
一条标注示范来自数据集。它展示的是参考输出:
这是一条被接受的改写。
一条自举示范则由运行程序生成,指标认可时才保留那条轨迹:
这是本程序产出的一条通过了我们指标的改写。
第二句话继承了接纳这条轨迹所用指标的全部弱点。四条轨迹得分高于 0.7,成了所有
三个预测器的行为指导。由此产生的候选后来在 ed-035 上丢掉了一个承载范围的条件。
我们没有分离出究竟是哪条示范(如果真有的话)导致了这种行为,所以*“示范教会了程 序删除限定词”*会夸大证据。
站得住脚的原则依然重要:指标设计既决定哪个候选胜出,也对自举式优化决定哪 些生成的轨迹被允许成为未来的上下文。因此接纳本身值得单独审计,因为一条示范不 会预告下游案例会模仿哪些行为。
还有一处不对称。在实测的那次运行中,自举期间 ed-001 得分 0.92,ed-002 约
0.964——都远高于阈值。阈值只告诉你一条轨迹够好。它并不告诉你这条轨迹是否有代
表性,而示范是按列表顺序挑选的,整条流水线里没有任何东西在问这个问题。
通常会出什么错
| 症状 | 可能的原因 | 如何诊断 | 改什么 |
|---|---|---|---|
| 编译指标变好了,用户却在抱怨 | 针对一个用户并不共享的代理做了优化 | 用一个独立指标给候选打分 | 永远在编译循环之外做评估 |
| 一个微小的增益被报告成改进 | 一个执行调度被当成了效应估计 | 在新鲜进程之间做轮换顺序的配对比较 | 报告配对差值的分布与符号计数 |
| 提升来自一个不稳定的案例 | 聚合变动从未被定位到具体案例 | 逐案例分解结果,并比较重复输出 | 把候选效应与会话/顺序效应分开 |
| 升级编译指标毫无变化 | 回归落在指标的视野之外 | 检查编译指标评估的是哪个划分 | 加上独立评估;别指望过滤器能抓住它 |
| 示范全部来自同一个领域 | 选择依据是列表顺序而不是多样性 | 按家族给示范来源分组 | 洗牌、分层,或有意地挑选 |
| 候选学会了一个没人要求的习惯 | 示范编码了一种偶然的风格 | 把选中的示范从头到尾读一遍 | 让来源多样化,或减少示范数量 |
| 提示词开销上涨却没有质量提升 | 示范消耗了上下文却没挣回价值 | 逐案例比较基线与候选的 token 用量 | 少用示范,或者拒绝这个候选 |
| 一个保留集案例出现在示范里 | 调用点处违反了划分边界 | 把示范来源 ID 与保留集 ID 对照 | 重建划分,从头重跑 |
本章小结
BootstrapFewShot 检查了五条训练轨迹,接纳了四条高于 0.7 阈值的轨迹,并把这
四条轨迹变成分布在三个预测器上的十二条示范。
最初的一次性评估报告 v1 下 +0.0112、v2 下 −0.0494。七次会话的配对实验给
出了我们真正应该带下去的结果:v1 下配对差值均值 +0.0003,v2 下
−0.0603,配对 SD 约为 0.0016。
于是表面上的 v1 改进在重复之下消失了。语义回归没有。候选删掉 regularly 之后,
ed-035 在每一次运行中都到达 v2 的 0.300。在那个案例上,v1 只给这次删除计价
0.033;v2 给被违反的约束计价 0.700。
然后我们试着改变编译指标。v2 分支多做了 12 次评审器调用,返回的候选逐字节相同,
因为同样那四条训练轨迹越过了阈值,而 ed-035 从不进入 BootstrapFewShot 的编译
循环。
重要的教训不是更好的编译指标无能为力。而是:目标只能通过搜索过程真正查阅到的 证据来改变搜索。
我们去掉了一个假设:加入被接纳的示范自动就是改进。我们还去掉了一个更大的假设: 改进你对着优化的那个东西,就足以保护你不至于优化错对象。并非如此,因为优化器和 你的评估未必看的是同一份证据。
我们尚未检验的是:这是 BootstrapFewShot 的特性,还是优化的普遍特性。这个优化
器只挑选示范——它从不触碰指令,也从不把开发集用于任何用途。
下一个则两样都做。
当优化器能够重写程序的指令、并直接对着开发集做选择时,会发生什么?