把"做什么"与"怎么做"分开
把任务契约完全固定,只改变执行策略,测量这份额外推理在 222 次本地调用中究竟买到了什么。
第 2、3 章建起了一份契约,却只字未提模型该如何满足它。那是刻意的,而本章来收这 笔账。
整场比较中,有三个对象必须始终彼此区分:
任务契约 合法行为必须保持什么
执行策略 模型如何尝试这项任务
评估 如何判定观察到的行为
签名把第一个固定住。Predict 与 ChainOfThought 变动第二个。冻结的实验夹具与指
标提供第三个。如果其中有两个一起变化,结果就不再能告诉我们推理策略造成了什么。
同一份契约
input ────────> Signature ────────> output
│
执行策略
/ \
Predict ChainOfThought
因为面向任务的契约是固定的,交换执行策略只给了我们一个被声明的实验因子:
Predict 对 ChainOfThought。策略的改动会有后果——渲染出的提示词不同、多出一个
推理字段、token 用量不同、延迟不同——但这些是这项干预的效应,而不是被人手工拧动
的额外旋钮。
这在语言模型工作里罕见到值得停下来强调一番。许多提示策略之间的比较,会同时改动 指令、示例、输出格式和策略本身,然后报告哪一个组合"感觉更好"。
本章把这场比较正经地跑了一遍——在一个本地模型上完成 222 次实测调用——得到了一 个出乎我们意料的结果,而它的原因恰好就是本书余下部分的主题。
1. 两种策略,一份契约
直接预测:
import dspy
class RewriteSentence(dspy.Signature):
"""Rewrite one sentence to satisfy an editorial goal
while preserving meaning, entities, and voice."""
sentence: str = dspy.InputField(desc="The exact sentence to rewrite")
goal: str = dspy.InputField(desc="The local reason this sentence is being edited")
context: str = dspy.InputField(desc="Nearby prose needed to preserve continuity and voice")
rewritten_text: str = dspy.OutputField(desc="A replacement sentence, not a paragraph")
rationale: str = dspy.OutputField(desc="Short explanation of the edit")
direct = dspy.Predict(RewriteSentence)
显式推理,同一个签名:
reasoned = dspy.ChainOfThought(RewriteSentence)
ChainOfThought 在签名上扩展出一个额外的推理输出,模型先填它,再产出声明出来的
字段。契约没有变:
sentence, goal, context → rewritten_text, rationale
变的是策略:
Predict: 直接作答
ChainOfThought: 先产出中间推理,再作答
所以两者的调用代码完全相同,正是这个性质让实验成为可能:
def run_case(program, case):
return program(
sentence=case["sentence"],
goal=case["goal"],
context=case.get("context", ""),
)
一处实现说明。实测运行器所用的共享仓库里的 RewriteSentence,已经带有两个额外输
入 issue_summary 和 preservation_notes,第 5 章在拆解程序时会用到它们。上面的
清单只是为了清晰起见,展示的是面向任务的核心。在这次实验中,这两个额外字段对两
种策略都以空字符串传入。
于是 Predict 和 ChainOfThought 收到的是完全相同的扩展签名,以及完全相同的取
值。唯一刻意的干预就是执行策略。
2. 设计一场有意义的比较
这个实验值得在看结果之前先讲一遍,因为设计就是它大部分的价值。
| 保持固定 | 变动 |
|---|---|
| 签名与字段描述 | 模块:Predict 或 ChainOfThought |
| 模型、量化与生成设置 | |
| 样例与重复次数 | |
| 平衡的执行顺序策略 | |
| v1 与 v2 指标定义 | |
| v2 的语义评审器配置 |
模型是 Qwen3 8.2B、Q4_K_M,由 Ollama 提供服务,经由 DSPy 3.3.1 以 temperature 0
调用。Qwen3 的原生思考模式被关闭,这样模型层面的推理就不会污染 DSPy 两种策略之间
的区分——否则 Predict 也会悄悄地做思维链,比较就变成了推理对推理。
实验夹具是第 7 章构建的训练集与开发集划分中的 37 个样例。每种策略在全部 37 个样 例上各跑三遍,得到每种策略 111 次实测调用,合计 222 次。保留集(holdout set) 的划分没有被碰过。
最后这条约束不是走过场。在你已经看过的样例上跑比较,告诉你的只是那些样例的情况。 第 7 章解释这套纪律,第 18 章演示没有它会发生什么。
评测框架(harness)的核心并不稀奇:
def compare_modules(cases, programs, repetitions=3):
rows = []
for rep in range(repetitions):
for case in cases:
for name, program in programs.items():
pred = run_case(program, case)
rows.append({
"case_id": case["case_id"],
"module": name,
"rep": rep,
"rewritten_text": pred.rewritten_text,
})
return rows
实测运行器再加上平衡的执行顺序、延迟与 token 统计、输出校验、来源记录和保留集保 护。对每个样例与每次重复,它轮流决定哪种策略先跑,于是某一种策略不会系统性地占 据更"热身"的位置。
平衡的顺序减少了一个明显的偏差来源;它并不会让本地模型变成确定性的。后面重复的会 话表明,即使在 temperature 为零时,调用历史仍然能推动某些输出。这就是为什么小的 聚合差值(delta)需要的谨慎,要比四位小数的表面精度所暗示的更多。
3. 我们测量到了什么
| 度量 | Predict | ChainOfThought |
|---|---|---|
| 实测调用 | 111 | 111 |
| 硬门失败 | 6 | 6 |
| 平均分数,指标 v1 | 0.8034 | 0.8175 |
| 平均分数,指标 v2 | 0.7862 | 0.8175 |
| 平均延迟 | 1.879 s | 3.113 s |
| Prompt tokens | 38,481 | 41,478 |
| Completion tokens | 8,490 | 14,481 |
| 总 token | 46,971 | 55,959 |
成本那一侧很直白,大致就是你所预期的。ChainOfThought 耗时多出 66%,总
token 多用 19%,completion token 多用 71%——它把思考说出口,而说出口是要
花钱的。逐个样例看,延迟比值在 1.11× 到 2.27× 之间。
质量那一侧才是变得有意思的地方。
在指标 v1 下——也就是第 8 章基线所用的结构/参考重叠指标——ChainOfThought 的分
数高 0.0141。这越过了本书过去那条机械平局阈值 0.01,但它的量级与后来从未改
动的基线上观察到的跨会话漂移相当。
所以重要的结论并不是 +0.0141 是一个稳定的质量收益。单看的话,这个聚合值太小,
撑不起这个主张,也无法为多出 66% 的延迟辩护。更可审计的证据来自追问:究竟是哪
些个别样例让两种策略、两种指标出现了分歧。
在指标 v2 下——它在同一结构分数之上增加了一项语义检查——差距是 0.0313,是前 者的两倍多。
还要注意,ChainOfThought 的 v1 与 v2 分数在小数点后四位上完全相同。在 111
次调用中,它一次语义违反也没有产出。Predict 的两个分数相差 0.0172。
这个差值就是全部的发现,而它来自一个样例。
4. 决定结果的那个样例
样例 ed-025 属于法律平实语言家族(family)。任务是在不改变其 30 天期限何时起
算的前提下,简化一条正式的通知要求。
夹具中的原句是:
对上述缺陷的通知必须以书面形式作出,不得迟于交付后的三十(30)天。
参考改写是:
你必须在交付后 30 天内以书面形式报告该缺陷。
Predict 返回的是:
你必须在收到物品后 30 天内,以书面形式就该缺陷通知发送方。
ChainOfThought 返回的是:
你必须在交付后 30 天内,以书面形式就该缺陷发出通知。
两个输出都完成了所要求的平实语言转换。两者都保住了 30 天的期限,也保住了书面通
知的要求。在 v1 下,Predict 得分 0.933,ChainOfThought 得分 0.967。
差别在于触发事件。夹具明确要求期限自交付起算。Predict 把它改成了收到物品。
这两个短语可能指不同的时间点,因此这次改写违反了一条具名的语义要求,尽管它在词
面上仍接近参考答案。
语义评审器把这条要求标记为 violated,原因码是 scope_changed,而指标 v2 会把违
反了语义约束的改写封顶在 0.30。
现在来算这笔你可以自行核对的账:
ed-025 在 v1 下: 0.933
ed-025 在 v2 下: 0.300
差值: 0.633
摊到 37 个样例: 0.633 / 37 = 0.0171
v2 差值 − v1 差值: 0.0313 − 0.0141 = 0.0172
这场策略比较中整个 v1 对 v2 的差距,是由一个格外突出的夹具样例驱动的:
ed-025。 这个样例在每种策略下各跑了三次,所以严格说来这并不是单一的一次观
察,但它是 37 个样例中的一种语义情境。
这有两面。v2 的结果格外可审计:聚合差异可以归结为一对句子、一条冻结的约束,以及 读者可以查验的算术。而作为关于推理的一般性主张,它又很脆弱。把同一个样例重复三 次,并不会把一种失败变成一个失败类型的分布。
所以 ed-025 是这样一种证据:在这套设置下,推理能够避免直接预测所犯的语义疏
漏。它并不是"推理总体上改善了法律文书改写、改善了语义保持,或每 37 个样例就能救
回一个"的证据。
5. 两个指标,两种答案
同一个实验,总结两遍。
在 v1 下: ChainOfThought 的分数高 0.014,时间成本多 66%。这个实测收益
与后来观察到的运行间漂移太接近,单凭聚合分数不足以证明付出额外成本是值得的。
在 v2 下: ChainOfThought 的分数高 0.031,在这 111 次调用中没有产出任何语
义违反,并且避开了 v1 给出高分的 ed-025 触发日期改动。
同样 222 次调用。同样的输出。同样的延迟测量。改变的是评估标准。在 v1 下,证据不 足以证明为推理付费是值得的。在 v2 下,实验显露出一项具体的正确性收益,而它的价 值取决于应用为那种失败付出多大的代价。
这不是两个相互矛盾的数据集。这是同一个数据集回答了两个不同的评估问题。
这是本书中第一次出现"指标的选择改变了答案本身,而不是答案的置信度",而且远不是最 后一次。在第 9 章,我们会直接攻击 v1,并发现三句为颠倒作者原意而设计的句子,得分 在 0.85 到 0.96 之间。在第 11、12 章,两个不同的优化器各自独立地发现,它们可以通 过破坏一个句子来抬高 v1 的分数,而且两者都对同一个样例下手。
这个模式在这里已经以最温和的形式显现出来:v1 给一个语义上无效的改写打了很高的
分。 Predict 在改掉期限的触发事件之后,仍然拿到 0.933。
0.933 的计算过程里没有任何软件错误。候选改了句子、没有超出长度规则、保住了硬门
限定的词,并且与参考答案高度重叠。v1 正确地测量了这些属性。它只是缺少能够提出这
个问题的组件:交付是否已经变成了收到。
指标回答的是它的特征里所编码的那个问题。工程上的错误,是把那个问题与整个任务混为 一谈。
牢牢抓住这一点,因为第 10 到 13 章的诱惑,会是把一个上涨的数字读成进步。
6. 推理轨迹不是证据
另一则告诫,而上面的结果很容易让人过度解读它。
ChainOfThought 产出一个推理字段。人们很容易把这个字段当成"答案为什么是对的"的
解释。它不是。它是同一个模型在同一次调用中、与答案一同产出的计算状态——而一个即
将犯错的模型,会很乐意产出一段流畅的推理,把错误引导出来。
对于 ed-002,直接预测器返回:
Mira 在雨和泥中走了一整天,累了。
ChainOfThought 明确推理说,改写应当在去掉冗余的同时保留因果关系,然后返回了同
一个句子。推理是对的,却什么也没换来。
反过来的情况更危险。一条写着*“改写保留了所有实体并改善了节奏”*的轨迹,并不是实
体得到了保留的证据。它是一个利害相关方的主张。唯一把 ed-025 确立为失败的,是在
产出它的程序之外进行的一次评估运行。
而即便如此,也比听起来更弱。第 9 章的语义评审器与任务程序使用同一个底层模型。它 是一次检查,不是一个独立的权威;第 9 章大部分篇幅都在校验评审器,而不是假定它可 靠。
更丰富的执行策略只是一个假设。推理轨迹不是结果。
7. 什么时候该用推理
先诊断失败,再为策略付费。
| 失败 | 推理会有帮助吗 | 更好的第一步 |
|---|---|---|
| 输出字段缺失或格式不对 | 很少 | 加强字段描述与校验 |
| 实体被改名 | 有时 | 加一条显式约束和一道确定性检查 |
| 含义或范围悄悄改变 | 可能;这里有一个样例靠推理改善了 | 先加语义检查,再测量推理是否减少了该失败 |
| 句子被过度压缩 | 有时 | 先提供更多上下文,再比较策略 |
| 类型强制转换失败 | 很少 | 简化输出,或修好解析边界 |
| 领域知识错误 | 不会 | 提供检索,或更换模型 |
| 太慢 | 不会 | 优先直接预测,或更小的模型 |
由本章测量得出的修订版规则,比"推理有帮助"更窄,也更有用。v1 上的聚合收益相对观 察到的运行间漂移很小。更大的 v2 差异可以追溯到一个格外突出的样例:在那个样例上, 推理保住了一条被直接预测改动的语义要求。
这并不意味着另外 36 个样例在行为上完全相同,也没有确立推理防止语义错误的一 般比率。它的意思是:我们找到了一个具体的失败类别,对它而言,额外的计算确实起了 作用。
这笔交易值不值得付,取决于应用的利害关系与失败成本。实验提供了实测的延迟、token 成本和观察到的失败。产品或领域策略必须决定,避免那种失败值多少。
还要注意那六次硬门失败,在两种策略下完全相同。在这个指标里,硬门检查两项确定性属 性:必需的实体必须仍然出现,禁止词不得出现。
在这次运行中,推理没有减少那些失败。这并不证明推理永远帮不上实体保持或避免禁用 词;它表明只改变执行策略,这个实测失败计数保持了不变。
更重要的是,这些属性已经有确定性的检测器。一旦一个失败可以被直接检查,系统就不该 依赖一条推理轨迹来为它背书。
通常会出什么错
| 症状 | 可能原因 | 如何诊断 | 改什么 |
|---|---|---|---|
| 思维链看起来更好,但输出更长 | 风格随策略一起隐式变了 | 在相同的长度约束下比较输出 | 把风格约束放进契约或指标 |
| 两种策略返回的字段不同 | 契约实际上并没有被共享 | 检查两个模块的定义 | 两者使用同一个签名类 |
| 推理文本到达了用户面前 | 中间状态泄漏进了响应 | 检查 API 载荷和 UI 绑定 | 只返回声明过的输出字段 |
| 一个极小的分数差被报告为胜利 | 该差值落在运行间噪声之内 | 先重复运行,测量散布 | 在引用差值之前先确立噪声底线 |
| 模型的原生推理是开着的 | 模型层面与框架层面的推理混在了一起 | 检查 provider 关于 thinking 或 reasoning 模式的设置 | 关掉它,或在显式固定它的情况下测量 |
| 一次改写得分很高却是错的 | 指标看不见这一失败类别 | 手工查看高分输出,而不只是低分输出 | 加一道能看见它的检查,然后攻击那道检查 |
本章小结
现在我们可以在不同的执行策略下运行同一份任务契约,并把差异归因于策略。这正是本 章着手确立的机制,而它奏效了。
它产出的结果并不是我们预期的那个。在 222 次实测本地调用中,ChainOfThought 多花
了 66% 的时间和 71% 的 completion token,换来 0.014 的词面改进——离噪声太近,以至
于按本书最初所用的那个指标,合理的结论是不值得费这个劲。
而在一个看得见意义的指标下,同样这 222 次调用说出了不同的话;这个差异归结为一句
话:关于 30 天退货窗口的那句话,Predict 错得微妙而又代价高昂。
两条教训,而第二条才是持久的。
窄的那条:额外的推理是一种成本,你应当拿它与具体的失败模式称量,而不是拿它与"推 理就是更好"这种泛泛的信念称量。这里的聚合改进很小,而一个可检视的样例显示了一次 真实的语义抢救,原来的指标看不见它。
宽的那条:是测量决定了答案。 在对这个实验的两种读法之间,程序本身没有任何改 变。唯一变了的,是我们能够看见什么,而它翻转了一条工程建议。第 9 章会有意攻击这 个指标,第 11 到 13 章会把它交到优化器手里,而那些优化器的全部工作就是最大化它。
不过在那之前,还有一个更基本的架构问题一直被我们推迟着。真实系统很少只由一次调 用构成。一位编辑可能先分析上下文、产出一个候选、再对它做评估——三个阶段,各有自 己的契约。
拆解本该是显而易见的好事。第 5 章来测量它。
一个生产级的思维链模块——它把推理风格当作输入携带,而不是把它烤进程序里——在第 21 章附录中被节选。