让程序学会反思
给优化器语言而不是标量,看着 GEPA 提出三个变异又全部拒绝——然后追问被拒绝的候选是不是真的更差。
第 12 章停在一个具体的局限上。MIPROv2 选中了一个候选,它从一句受监管的表述里删掉
了 regularly,而流水线里没有任何东西能告诉它不该这么做,因为它收到的唯一信号是
0.967。
候选
↓
指标
↓
0.967
一个数字可以给候选排序。它说不出是哪个词出了问题。
下一个机制用语言替换掉这个标量:
flowchart LR
P[预测] --> M[指标]
M --> SF[分数 + 诊断反馈]
SF --> RF[反思]
RF --> IM[指令变异]
IM --> CA[候选]
CA -->|重新运行| P
GEPA 是 DSPy 的进化式、反思驱动的优化器。它读取逐预测器的反馈,用一个独立的反思模 型提出指令改动,维护一个候选程序的种群,并返回它找到的最优者。底层的工程想法比 API 本身还要小:
一次失败应当携带足够的解释,足以提示一处程序改动。
在我们这次运行中,GEPA 提出了三个变异,又把三个全部拒绝。这算不算好的判断,是本章 最有意思的问题,而答案并不像数字最初暗示的那样。
1. 分数与反馈是两回事
第 8 章的指标返回一个数字。对反思式优化来说,指标还必须能解释:
from dataclasses import dataclass
@dataclass(frozen=True)
class FeedbackScore:
score: float
feedback: str
def editorial_feedback(example, pred) -> FeedbackScore:
candidate = str(getattr(pred, "rewritten_text", "")).strip()
if not candidate:
return FeedbackScore(0.0, "The program returned no rewritten_text.")
for entity in example.required_entities:
if entity.lower() not in candidate.lower():
return FeedbackScore(
0.0,
f"The candidate removed required entity {entity!r}. Preserve named entities.",
)
for term in example.forbidden_terms:
if term.lower() in candidate.lower():
return FeedbackScore(
0.0,
f"The candidate used forbidden term {term!r}. Avoid entity substitutions.",
)
if candidate == example.sentence:
return FeedbackScore(
0.65,
"The candidate copied the original sentence and did not address the edit goal.",
)
overlap = reference_overlap(example, pred)
if overlap < 0.35:
return FeedbackScore(
round(0.3 + overlap, 4),
"The candidate is too far from the reference edit; check meaning preservation and scope.",
)
return FeedbackScore(1.0, "The candidate satisfies the deterministic checks.")
真正要紧的是这份契约:
score: 用于选择
feedback: 用于解释失败出在哪里
关于反馈通道,有两条规则。
它绝不能泄露答案。“候选删掉了必需实体 ‘Jalen’”是一条好反馈。“请使用这句原话: ……”则是参考改写;把它放进优化循环,就会把这个实验变成第 18 章测量的那种泄漏场景 ——大约 0.386 的表观分数虚高。
**它绝不能改变目标。**与反馈一同返回的分数,仍然是第 8 章那个冻结的标量。反馈影响 的是哪些改动会被尝试。它不能影响什么算赢,否则与基线的比较就不再是一次比较。
还要注意这份反馈说不出什么。回头看 ed-035——那句滤水器的句子,候选在其中删掉了
regularly。上面每一个分支都通过了:实体在,没有出现禁用词,候选与原文不同,重合度
很高。返回的反馈会是*“候选通过了确定性检查。”*
更丰富的反馈不等于更真实的反馈。它只是在同一个盲点外面裹了更多文字。
2. 反思不是评估
两个模型角色,而第 6 章的来源表对两者都适用:
任务模型 产出程序行为
↓
指标 评估该行为
反思模型 读取失败证据
↓
提出程序改动
反思模型不决定什么是真的。它提出一处改动,由冻结的指标决定这处改动能否存活。
失败 → 反思提出 → 候选 → 评估 → 保留或拒绝
这与第 10 章确立的边界是同一条,只是上移了一层。优化器负责提出,评估负责选择,晋升 是第 19 章的事。
3. 编译的形态
DSPy 的文档用一个强大的托管反思模型来示范 GEPA:
# Illustrative only — not the configuration this book ran.
reflection_lm = dspy.LM("openai/gpt-5", temperature=1.0, max_tokens=32000)
这是一个合理的默认值,但不是我们采用的配置。本书中每一个测量结果都跑在那个标准的本 地依赖上,本章也不例外——任务角色与反思角色用的都是本地 Qwen3,只在生成设置上 不同:
import dspy
REFLECTION_CONFIG_OVERRIDES = {"temperature": 0.7, "max_tokens": 1024}
def gepa_metric(example, pred, trace=None, pred_name=None, pred_trace=None):
result = editorial_feedback(example, pred)
return dspy.Prediction(score=result.score, feedback=result.feedback)
def compile_reflective_candidate(trainset, devset):
reflection_lm = dspy.LM(**canonical_dspy_lm_kwargs(), **REFLECTION_CONFIG_OVERRIDES)
optimizer = dspy.GEPA(
metric=gepa_metric,
reflection_lm=reflection_lm,
max_metric_calls=66, # = max(24, 6 * len(valset)); GEPA needs an explicit budget
candidate_selection_strategy="current_best",
use_merge=False,
track_stats=True,
seed=13,
)
return optimizer.compile(
EditorialRewriteProgram(),
trainset=trainset,
valset=devset,
)
更高的反思温度是刻意的。提出变异是一项受益于多样性的生成任务;执行程序则不是。
在任务角色与反思角色之间共享权重,正是第 6 章警告过的角色塌缩,而它在这里是一个真 实的局限。一个与任务模型有着相同盲点的反思模型,会提出同样带着这些盲点的变异。
搜索边界:
- 训练集:26 个案例,7 个家族
- 验证集:11 个开发案例
- 保留集(holdout set):7 个案例,密封且未被检视
- 可改动的预测器:
analyze、rewrite - 固定的预测器:
assess - 实际指标调用预算:66,按
max(24, 6 × |valset|)计算 - 候选选择策略:
current_best - 合并:关闭
- 随机种子:13
这个预算值得一提。这个实验的早期版本在只有一个案例的验证集上设定了
max_metric_calls=12。有了十一个开发案例,预算就按比例放大到 66,而这次运行发起了
76 次反馈调用。预算是数据量的函数,所以改动实验夹具就改变了实验的规模,而根本没有
人去编辑过配置值。
4. 搜索做了什么
GEPA 提出了三个子候选。包括把基线算作候选 0 在内的血缘:
| 候选 | 父代 | 开发分数,v1 | 结果 |
|---|---|---|---|
| 0(基线) | — | 0.7992 | 选中 |
| 1 | 0 | 0.7792 | 拒绝 |
| 2 | 0 | 0.7932 | 拒绝 |
| 3 | 0 | 0.7899 | 拒绝 |
三个子代的得分都低于基线,因此 best_idx = 0。返回的程序带着
candidate_state_changed = False,指令一处也没有改动。
组件选择器在 analyze 与 rewrite 之间来回切换,从未碰过 assess——这是正确的;
考虑到第 5 章的发现说 assess 反正也影响不了结果,还略有点好笑:优化器唯一被禁止修
改的预测器,恰恰是那个不起作用的。
没有任何反馈记录包含逐字的参考改写。标量分数始终与冻结指标一致。保留集始终密封。
所以要点是:反思提出了三个具体的替代方案,评估测量了全部三个,系统留下了更好的父 代。这是一个运转正常的治理闭环。
而且,仔细看的话,它并不显然成立。
5. 子代真的更差吗?
套用第 6 章的噪声底线。
这个 11 案例开发均值的逐次运行波动约为 ±0.015。未改动的基线两次相同的运行分 别测得 0.7893 和 0.7992。
GEPA 在这次会话中的基线测量值是 0.7992——正好是这个区间的顶端。
现在再看这些子代:
| 候选 | 分数 | 与本次会话基线的差值 | 与基线典型值(约 0.789)的差值 |
|---|---|---|---|
| 1 | 0.7792 | −0.0200 | −0.010 |
| 2 | 0.7932 | −0.0060 | +0.004 |
| 3 | 0.7899 | −0.0093 | +0.001 |
候选 3 得分 0.7899。基线在第 8 章的第一次运行中得分 0.7893。在这台仪器上,这两个 数字所描述的程序无法区分。
GEPA 拒绝了两个在统计上与基线相同的候选,因为它拿去比较的是单次基线测量,而那次 测量恰好落在其噪声区间的高端。
这不是针对 GEPA 的批评。这是过去四章中每一个优化器的共同性质。它们中没有任何一个 具备测量不确定性的概念:
| 章节 | 优化器 | 决定 | 幅度 | 噪声底线 |
|---|---|---|---|---|
| 11 | BootstrapFewShot | 接受了它的候选 | +0.0112 | ±0.015 |
| 12 | MIPROv2 | 接受了它的候选 | +0.0298 | ±0.015 |
| 13 | GEPA | 拒绝了三个 | −0.006 到 −0.020 | ±0.015 |
第 11 章基于噪声之内的差值接受了候选。第 13 章基于噪声之内的差值拒绝了候选。只有第 12 章的决定建立在超出噪声的证据上,而第 12 章的增益分解开来只来自一个案例。
这些比较全都是单次运行的比较。优化器只评估一次、比较两个数字、然后做出决定。它们不 重复运行,不计算离散程度,它们的 API 里也没有任何东西暗示应该这么做。
这就是诚实的当前水平,也是第 19 章存在的原因。那一章的晋升策略要求 0.05 的边际—— 超过噪声底线的三倍——恰恰是因为在这么大的实验夹具上,优化器自己接受或拒绝的决定构 不成任何证据。
6. GEPA 没做什么,以及为什么我们不该把它记成功劳
GEPA 是本书中唯一没有弄坏 ed-035 的优化器。
克制住那个显而易见的结论。GEPA 并没有靠更好的判断、更丰富的反馈,或对受监管表述的
反思式洞察来避免这次失败。它避免失败靠的是什么也没有交付。它保留了基线,而基线
在 ed-035 上得分 1.000,因为基线从未碰过这个案例。
一个什么都不改的优化器不会引入回归。这不是安全,这是不作为,而不作为只是有时才是正 确答案。
真正有意思的问题——GEPA 的反思循环是否比贝叶斯搜索更保守,还是它只是在小预算下抽到 了三个不走运的变异——无法用一次运行来回答。三个子代算不上一个样本。我们用一个种 子、在 11 个开发案例上跑了一次实验,比对的是只测量过一次的基线。
本章能诚实主张的一切只是:在这次运行、这个预算下,反思提出了三处改动,三处的测量值 都低于一次本身就接近其噪声区间顶端的基线测量,而系统留下了父代。
7. 反思有一个可测量的代价
| 资源 | 测量值 |
|---|---|
| 搜索耗时 | 437.7 s |
| 任务模型历史条目 | 198 |
| 任务模型 token | 90,679 |
| 反思模型历史条目 | 10 |
| 反思模型 token | 6,276 |
| 反馈指标调用 | 76 |
不到 97,000 个 token、大约七分半钟,产出三个被拒绝的变异,还保留了我们开始时的那个 程序。
成本的分布值得注意。反思本身很便宜——十次调用共 6,276 个 token,约占总量的 6%。贵 的是评估:每一个提出的子代都必须在十一个开发案例上跑一遍,才知道它有没有帮助, 90,679 个 token 就花在了这里。
这有一个实际后果。如果你试图让反思式优化负担得起,一个更便宜的反思模型几乎省不下什 么。减少被评估的候选数量,或者减少每个候选要对照的验证集规模,才能几乎省下全部开销。
再把三个优化器的预算并排放在一起:
| 章节 | 优化器 | 搜索 token | 结果 |
|---|---|---|---|
| 11 | BootstrapFewShot | 6,195 | 候选被接受,引入了回归 |
| 12 | MIPROv2 | 85,607 | 候选被接受,同样的回归 |
| 13 | GEPA | 96,955 | 所有候选都被拒绝 |
三个优化器合计约 189,000 个 token 的搜索。它们没有一个产出本书会晋升的程序。
通常会出什么错
| 症状 | 可能原因 | 如何诊断 | 改什么 |
|---|---|---|---|
| 反思内容很泛化 | 反馈只说“错了” | 读优化器实际收到的反馈字符串 | 指出具体的失败和受影响的字段 |
| 反馈很详细,失败却还在 | 反馈通路对那一类失败视而不见 | 追踪一个已知坏案例会产生什么反馈 | 修指标;冗长不等于看得见 |
| 分数与反馈不一致 | 指标存在分叉的分支 | 用已知案例给指标做单元测试 | 让分数与反馈出自同一条决策路径 |
| 一个子代因很小的差值被拒绝 | 拿单次运行的比较去对噪声底线 | 重复基线评估并计算离散程度 | 决定之前要求边际大于噪声 |
| 什么都不改的优化器看起来很安全 | 不作为被读成了判断 | 检查是否真的选中过任何候选 | 区分“拒绝了一次坏改动”和“没做任何改动” |
| 指令无限膨胀 | 反思不断追加规则 | 检视各世代保存下来的候选状态 | 惩罚冗长,或设定指令预算 |
| 参考答案出现在反馈里 | 参考文本泄漏进了优化循环 | 在反馈记录里搜索参考字符串 | 重建反馈通路;把这次运行当作被污染的 |
| 搜索慢被怪到反思的开销头上 | 贵的是候选评估,不是反思 | 分别追踪任务与反思的 token | 减少候选或验证集规模,而不是降低反思质量 |
| 实验夹具一变,预算就变 | 预算是验证集规模的函数 | 记录实际预算,而不是配置里的预算 | 在清单里记录 effective_max_metric_calls |
本章小结
GEPA 读取了逐预测器的反馈,通过一个反思模型提出了三处具体的指令变异,用冻结的目标
逐一评估,然后留下了父代。没有参考文本泄漏进反馈通道,assess 保持固定,保留集保持
密封。作为一个治理闭环,它完全按设计运转。
作为证据,它比看上去要薄。三个子代得分 0.7792、0.7932 和 0.7899,而基线测量值是 0.7992——那次基线测量坐在一个底端为 0.7893 的区间的顶端。被拒绝的三个候选里有两个, 与击败它们的那个程序无法区分。
这指向一个比本章更大的问题。在第 11、12、13 章中,三个优化器基于 0.011、0.030 和 −0.009 的单次运行差值做出接受或拒绝的决定,而它们都不知道 0.015 的噪声底线存在。一 个在噪声之上接受,一个在噪声之上拒绝,第三个的真实增益结果只来自一个案例。三个加起 来近 189,000 个 token 的搜索,没有一样是本书会晋升的。
我们移除了“标量分数足以引导改进”这个假设。我们也移除了一个更好听的假设:一个拒绝做
任何改动的优化器是在行使判断。GEPA 是这里唯一没有弄坏 ed-035 的优化器,而它是靠什
么都不做挣来这一点的。
这些机制没有一个能做到的是行动。到目前为止,本书里的每一个程序都是从交给它的信息 ——一句话、一个目标、一段上下文字符串——出发,然后产出文本。真正的工程程序必须去查 资料、读文件、执行命令,并决定自己需要什么证据。
当程序能够作用于环境,而不只是读取它的输入时,会有什么改变?