← DSPy From First Principles

少样本优化

编译一个少样本候选,看它提升一个指标、损害另一个指标,再弄清为什么改成对着更好的指标编译,结果什么也没有改变。

第 10 章产出了一个候选,却拒绝说它到底好不好。本章来说。

这个机制是少样本优化,问题也很实际:

我们能不能通过挑选更好的示范(demonstrations)来改进程序,而不是自己动手重 写程序?

在我们的实验夹具(fixture)上,这个答案是本书最有趣的结果。在一次运行中,候 选似乎提升了我们对着优化的那个指标,同时损害了我们没有对着优化的那个指标。在 七次配对的新鲜进程会话之下,表面上的 v1 提升塌缩到几乎为零,而 v2 的损失依然 巨大且系统性。

接着我们尝试那个显而易见的修补办法:改成对着 v2 编译。得到的候选与对着 v1 编 译出来的候选逐字节相同。

因此本章给我们三个不同的事实,它们不能被折叠成一个分数:一个带噪声的聚合提 升、一次可复现的语义回归,以及一次对候选毫无影响的客观改动——因为相关的失败根 本进不了这个优化器的编译循环。


1. BootstrapFewShot 做了什么,它的指标看到了什么

BootstrapFewShot 为程序里的每个预测器构造示范。有些来自带标注的示例;有意思 的那些是自举出来的——在训练案例上运行程序,只有指标认可时才保留那条轨迹。

    flowchart TD
    TE[训练示例] --> AT[学生程序尝试每个案例]
    AT --> CT[候选轨迹]
    CT --> MF{指标通过?}
    MF -->|是| DEM[轨迹成为一条示范]
    MF -->|否| DROP[丢弃]
    DEM --> CS[编译后的学生程序]
  

这个过滤器就是整套机制:

只有满足指标的轨迹才会成为行为指导。

第 9 章已经告诉过我们,这在这里意味着什么。对于那些颠倒了源文本含义中重要部分 的候选,v1 会给出非常高的分数——在三个典型攻击上大约是 0.85 到 0.96。

因此,一条自举出的示范只是一条轨迹通过了编译指标的证据。它不是这条轨迹在语 义上安全、能代表目标领域、或能被人类评审者接受的独立证据。

但要留意这个指标被用在什么地方,这一点更具体,因为它会成为第 7 节的关键。过滤 器只在训练轨迹上运行。编译期间指标从未见过任何开发案例。BootstrapFewShot 没有验证集——第 10 章已经指出,compile 只接收 student、teacher 和 trainset,别无其他。

所以编译指标可纳入的视野是那 26 个训练案例。而这次运行的实际视野还要更窄: 五条训练轨迹被打分,四条越过阈值,这四条成为所保存示范的来源案例。


2. 编译候选

import dspy

def compile_few_shot_candidate(trainset):
    student = EditorialRewriteProgram()
    optimizer = dspy.BootstrapFewShot(
        metric=dspy_editorial_metric_v1,
        metric_threshold=0.7,
        max_bootstrapped_demos=4,
        max_labeled_demos=0,
        max_rounds=1,
    )
    return optimizer.compile(student=student, trainset=trainset)

然后在第 8 章那套冻结协议之下评估两个程序——同样的模型、同样的案例、同样的指 标,保留集未被触碰:

baseline = EditorialRewriteProgram()
candidate = compile_few_shot_candidate(trainset)

evaluate_dev = dspy.Evaluate(devset=devset, metric=dspy_editorial_metric_v1)
baseline_dev = evaluate_dev(baseline)
candidate_dev = evaluate_dev(candidate)

原始实测的 v1 编译耗时 30.9 秒、消耗 6,195 个任务模型 token。自举过程中 指标被调用了五次;四条轨迹越过了 0.7 阈值。

两个计数都要记下来。检查了五条轨迹,接纳了四条。候选的来源与优化器消耗的来源不 是同一个统计量。


3. 它选择了什么

四条被接纳的轨迹,分布在三个预测器上:

预测器 示范
analyze 4
rewrite 4
assess 4

总共十二条示范,全部是自举出来的,全部可以追溯到四个训练案例之一:ed-001、 ed-002、ed-006、ed-007。

二十六个案例中有四个提供了所保存的示范,但优化器为此检查了五条训练轨迹。

按规范的训练顺序,它们是 ed-001、ed-002、ed-005、ed-006 和 ed-007。四 条越过了阈值:ed-001、ed-002、ed-006 和 ed-007。ed-005 被评估后遭拒。

这就得到了第 10 章要求我们记录的消耗漏斗:

  • 26 个训练案例是可纳入的;
  • 5 条被编译指标检查过;
  • 4 条提供了示范;
  • 21 个在这次编译中从未被触及;
  • 22 个没有给候选提供任何示范。

因此,把 max_bootstrapped_demos 从 2 提高到 4 扩大了被检查的前缀,但它仍然把大 部分可用的训练证据挡在候选构造之外。

来源检查干净地通过了。没有任何开发案例变成示范。没有任何保留集案例出现在编译 证据里。每一条保存的示范都能解析到一个已知的、带有完整轨迹的训练案例。

因此我们可以精确地区分三个问题:

  1. 证据是可纳入的吗? 是。
  2. 哪些证据被检查并选中了? 检查了五条,选中了四条。
  3. 被选中的示范对每个开发家族都是好的指导吗? 这仍然是一个经验问题。

划分的正确性是必要的。它不是示范的质量。


4. 结果

首先,保留原始的单次运行结果,因为它暴露了具体的机制。在那一次 11 案例的开发 评估中,基线与候选的得分为:

程序 指标 v1 指标 v2
冻结基线 0.7893 0.7893
少样本候选 0.8005 0.7399
差值 +0.0112 −0.0494

在这一次测量场合里,候选在用于编译的指标下更高,在语义护栏下更低。

先不要把这些差值晋升成最终的效应估计。第 6 节在七次新鲜进程的配对会话中重复这 次比较,把对这个正数的解释彻底改变了。

这次单次运行真正擅长的是诊断:它给了我们确切的案例和确切的句子去检视。

逐案例的分解显示了问题在哪里:

案例 v1 v2 备注
ed-032 0.782 → 0.818 0.782 → 0.818 本次运行中更高
ed-033 0.818 → 0.927 0.818 → 0.927 本次运行中更高;已知的会话敏感案例
ed-036 0.956 → 1.000 0.956 → 1.000 本次运行中更高
ed-003 0.877 → 0.877 0.877 → 0.877 典型案例,未变化
ed-035 1.000 → 0.967 1.000 → 0.300 限定词丢失;语义违规
ed-038 1.000 → 0.967 1.000 → 0.967 轻微的结构性损失
ed-029, ed-030, ed-031, ed-034, ed-037 0.650 → 0.650 0.650 → 0.650 停在结构性下限,未变化

本次运行中有三个案例上移。五个仍然钉在 0.650。ed-038 在两个指标下都损失 0.033。而 ed-035 在 v1 下只损失 0.033,在 v2 下却损失 0.700。

这就是两个指标分歧如此剧烈的原因。v1 把 ed-035 的这次编辑看作若干普通案例变 动中的一处微小词汇损失。v2 则把它看作一次取消资格的语义事件。


5. ed-035

ed-035 属于营销文案家族。规范的源句子是:

Using the filter regularly can help reduce limescale build-up in your kettle.

编辑目标是*让收益陈述更直接。*上下文说明这是一个受监管的品类,主张必须停留在 helps reduce,不能变成 prevents。

参考改写是:

Using the filter regularly helps reduce limescale build-up in your kettle.

案例还记录了两条语义约束:

  • 让主张停留在 helps reduce,而不是 prevents 或 eliminates;
  • 这个收益取决于经常使用。

冻结基线完全按参考改写产出,得了 1.000。少样本候选返回的是:

Using the filter helps reduce limescale build-up in your kettle.

少了一个词。regularly。

作为一行文字编辑,这一刀是合理的。regularly 看上去像是可以丢弃的修饰性语言, 剩下的句子更干净、也完全合乎语法。这不是一个在胡言乱语的模型。

还值得看看这个案例真正的目标。模型被要求让收益陈述更直接,而不是笼统地追求 最简洁。把 can 从源句里去掉、变成参考改写,满足了这个目标,同时保留了条件。删 掉 regularly 则更进一步,改变了主张所依赖的东西。

但在这个夹具里,regularly 不是装饰。它承载着语义约束明确点名的那个条件。

有了它,主张说的是经常使用的收益。没有它,这句话把收益归因于使用过滤器,却 没有保留那个条件。

确立这次回归并不需要一个辖区级别的法律主张。候选按自己的表述就违反了冻结的任 务要求。

对于这有多重要,两个指标意见不一。

**v1 计了 0.033。**候选仍然与参考共享几乎全部词汇,仍然改了点东西,仍然没有越 界。删掉一个副词几乎算不上一次词汇事件,所以分数从 1.000 掉到 0.967——在结果表 里读起来就是噪声。

**v2 计了 0.700。**LM 评审器(LM judge)对照记录在案的经常使用约束评估了候选, 返回 violated,原因码是 meaning_weakened,而违规封顶把分数从结构上的 0.967 拉到 0.300。

正如第 9 章所确立的,这个裁决来自一道经过验证、但仍然是同一模型的语义护栏,而 不是一个独立的权威。在这里,有争议的文本和那条约束都简单到可以直接检视。

这与第 4 章的 ed-025 密切相关:在那里 Predict 把一个截止期限触发条件从 delivery 改成了 receiving the item。

表面上的操作不同——ed-035 删掉一个承载范围的词,而 ed-025 替换掉一 种事件描述——但指标上的失败是同一个:一处词汇上很小的编辑,改变了一个结构性分数 无法表示的条件或范围。

这两个例子之所以危险,恰恰因为产出的行文依然流畅、读起来依然合理。

现在回想一下保存下来的示范来自哪里。那四个来源案例——ed-001、ed-002、 ed-006 和 ed-007——只属于 chapter-opening 和 close-third-narration。

没有任何营销、法律、技术、新闻或说明文家族为这个候选贡献示范。这种集中度给了我 们一个跨领域风格迁移的可能机制:那些奖励在文学性散文中收紧的示例,可能会让后续改 写偏向类似的压缩。

但我们没有做过示范家族的消融,所以不要声称那四条示范导致了 regularly 被 删。经测量的主张更窄:一个由集中在两个文学家族的示范构建出来的候选,在一个未见 过的营销家族上产生了 ed-035 的回归。

因此,第 10 章的覆盖发现与本章的失败可以直接连起来,而不需要一个我们未曾检验过 的因果故事。


6. 这个提升是真的吗?

单次运行的 +0.0112 结果已不再是聚合效应的正确证据。我们在七次新鲜进程会 话中重复了这次比较,逐案例配对候选与基线,并轮换执行顺序。

结果:

配对候选 − 基线差值 均值 SD 范围 解读
v1 +0.0003 0.0016 −0.0020 至 +0.0013 无可测量的聚合改进
v2 −0.0603 0.0016 稳定为负 大幅的系统性回归

v1 候选的聚合差值在七次会话中的五次为正,另外两次为负,而均值稳稳地落在配 对 SD 之内。因此,原来的 +0.0112 并不是什么藏在启发式噪声阈值附近的微小效 应;它是一个测量场合下的结果,在更强的配对设计下塌缩了。

ed-033 解释了为什么早先那次运行特别容易犯这个错。在早先的会话里,未改动的基线 本身就可能落在该案例的另一种改写上。在这批七次会话的配对中,基线恰好是稳定的, 但配对防止了那个历史性的会话效应被误读成候选效应。

语义结果的表现则不同。候选在每一次运行中都把 ed-035 打到 v2 的 0.300, 而配对的聚合 v2 损失大约是观测到的配对 SD 的三十八倍。

所以站得住脚的说法是:

少样本候选在配对实验中的 v1 之下没有可测量的聚合优势,同时它引入了一次可复现 的语义回归,而 v1 把这次回归计价为一处微小的词汇改动。

这就是本书坚持把候选生成与晋升分开的原因。如果我们只跑到第一次运行、报告 +0.0112、仅凭符号就晋升,我们就会有一个数值上的理由,去接受一个可复现地从 ed-035 中丢掉一个条件的候选。

问题不在于第一个数字是捏造的。它是一次真实的测量。问题会在于:把一次测量场合当 作替换生效版本的充分证据。


7. “那为什么不改成对着 v2 编译?”

这是最显然的反驳,而我们做了这个实验。

设置:同一个训练集、同一个优化器、同一个阈值和示范预算,只是把编译指标从 v1 换 成 v2。

如果这次回归是 v1 接纳了一条 v2 会拒绝的训练轨迹所造成的,那么这次干预应该改变 被选中的示范。这才是这个实验实际检验的机制。

结果:

**两条编译分支产出了完全相同的候选状态。**不只是示范 ID 相同:保存的候选文件逐 字节相同,共享同一个 Git blob。

两者都包含十二条示范,来自同样那四个被接纳的案例,并且在三个预测器上的分布完全 相同。

这次客观改动确实有代价。在对照分支中,v1 编译耗时约 26.4 秒,调用指标 5 次、 评审器 0 次;v2 编译耗时约 41.5 秒,同样调用指标 5 次,另加 12 次语义评审 器调用,消耗的任务模型 token 则同样是 6,195 个。

多出来的语义评估改变了账单,却没有改变候选。

在最初的一次性开发评估中,两个逐字节相同的候选自然产出相同的分数。在后来交错进 行的七次会话实验中,尽管保存状态完全相同,它们却表现出微小的分数差异。这是一处 有用的阴性对照:那些差异是测量顺序与运行时的波动,不是程序差异。

ed-035 在候选状态之下依然会破。

解释就在第 1 节。BootstrapFewShot 把它的编译指标应用在训练轨迹上。每条分支 都给五条轨迹打了分;同样那四条在 v1 和 v2 之下越过了 0.70 阈值。

因此语义评审器有十二次逐约束的机会去改变 v2 分支的接受/拒绝决定,却一次也没有 改变。被接纳的示范集合保持不变。

而 ed-035 是一个开发案例。它根本进不了编译循环。无论在哪个版本下,编译指标都 从未被问及它,因为 BootstrapFewShot 没有提问的机制。

编译可访问的案例:        26 个训练案例
实际被打分的轨迹:          5
被接纳为示范的轨迹:        4
观察到回归的位置:          开发案例 ed-035
ed-035 的编译暴露:        无

这个教训比一条关于编译指标的普适主张更窄:

仅把编译指标从 v1 换成 v2,在这个语料库和 BootstrapFewShot 配置之下并没有消 除这次回归。

为什么?ed-035 是开发侧的证据,从不进入这个编译循环;而那些确实进入循环的训 练轨迹决定,在 v2 之下没有改变。

不同的训练语料库、顺序、阈值、示范预算、优化器或指标都可能改变候选生成。第 12 章 之所以重要,正因为 MIPROv2 在搜索期间会使用开发证据,所以 v2 在那里会有不同的行 动机会。

实际的后果是:一个更好的指标不能替代在循环之外做评估。无论你对着什么编译,总得 有某种独立的东西来看产出的结果。


8. 标注示范与自举示范

值得把这两类说清楚,因为它们带来的风险不同。

一条标注示范来自数据集。它展示的是参考输出:

这是一条被接受的改写。

一条自举示范则由运行程序生成,指标认可时才保留那条轨迹:

这是本程序产出的一条通过了我们指标的改写。

第二句话继承了接纳这条轨迹所用指标的全部弱点。四条轨迹得分高于 0.7,成了所有 三个预测器的行为指导。由此产生的候选后来在 ed-035 上丢掉了一个承载范围的条件。

我们没有分离出究竟是哪条示范(如果真有的话)导致了这种行为,所以*“示范教会了程 序删除限定词”*会夸大证据。

站得住脚的原则依然重要:指标设计既决定哪个候选胜出,也对自举式优化决定哪 些生成的轨迹被允许成为未来的上下文。因此接纳本身值得单独审计,因为一条示范不 会预告下游案例会模仿哪些行为。

还有一处不对称。在实测的那次运行中,自举期间 ed-001 得分 0.92,ed-002 约 0.964——都远高于阈值。阈值只告诉你一条轨迹够好。它并不告诉你这条轨迹是否有代 表性,而示范是按列表顺序挑选的,整条流水线里没有任何东西在问这个问题。


通常会出什么错

症状 可能的原因 如何诊断 改什么
编译指标变好了,用户却在抱怨 针对一个用户并不共享的代理做了优化 用一个独立指标给候选打分 永远在编译循环之外做评估
一个微小的增益被报告成改进 一个执行调度被当成了效应估计 在新鲜进程之间做轮换顺序的配对比较 报告配对差值的分布与符号计数
提升来自一个不稳定的案例 聚合变动从未被定位到具体案例 逐案例分解结果,并比较重复输出 把候选效应与会话/顺序效应分开
升级编译指标毫无变化 回归落在指标的视野之外 检查编译指标评估的是哪个划分 加上独立评估;别指望过滤器能抓住它
示范全部来自同一个领域 选择依据是列表顺序而不是多样性 按家族给示范来源分组 洗牌、分层,或有意地挑选
候选学会了一个没人要求的习惯 示范编码了一种偶然的风格 把选中的示范从头到尾读一遍 让来源多样化,或减少示范数量
提示词开销上涨却没有质量提升 示范消耗了上下文却没挣回价值 逐案例比较基线与候选的 token 用量 少用示范,或者拒绝这个候选
一个保留集案例出现在示范里 调用点处违反了划分边界 把示范来源 ID 与保留集 ID 对照 重建划分,从头重跑

本章小结

BootstrapFewShot 检查了五条训练轨迹,接纳了四条高于 0.7 阈值的轨迹,并把这 四条轨迹变成分布在三个预测器上的十二条示范。

最初的一次性评估报告 v1 下 +0.0112、v2 下 −0.0494。七次会话的配对实验给 出了我们真正应该带下去的结果:v1 下配对差值均值 +0.0003,v2 下 −0.0603,配对 SD 约为 0.0016。

于是表面上的 v1 改进在重复之下消失了。语义回归没有。候选删掉 regularly 之后, ed-035 在每一次运行中都到达 v2 的 0.300。在那个案例上,v1 只给这次删除计价 0.033;v2 给被违反的约束计价 0.700。

然后我们试着改变编译指标。v2 分支多做了 12 次评审器调用,返回的候选逐字节相同, 因为同样那四条训练轨迹越过了阈值,而 ed-035 从不进入 BootstrapFewShot 的编译 循环。

重要的教训不是更好的编译指标无能为力。而是:目标只能通过搜索过程真正查阅到的 证据来改变搜索。

我们去掉了一个假设:加入被接纳的示范自动就是改进。我们还去掉了一个更大的假设: 改进你对着优化的那个东西,就足以保护你不至于优化错对象。并非如此,因为优化器和 你的评估未必看的是同一份证据。

我们尚未检验的是:这是 BootstrapFewShot 的特性,还是优化的普遍特性。这个优化 器只挑选示范——它从不触碰指令,也从不把开发集用于任何用途。

下一个则两样都做。

当优化器能够重写程序的指令、并直接对着开发集做选择时,会发生什么?