← DSPy From First Principles

把"做什么"与"怎么做"分开

把任务契约完全固定,只改变执行策略,测量这份额外推理在 222 次本地调用中究竟买到了什么。

第 2、3 章建起了一份契约,却只字未提模型该如何满足它。那是刻意的,而本章来收这 笔账。

整场比较中,有三个对象必须始终彼此区分:

任务契约            合法行为必须保持什么
执行策略            模型如何尝试这项任务
评估                如何判定观察到的行为

签名把第一个固定住。Predict 与 ChainOfThought 变动第二个。冻结的实验夹具与指 标提供第三个。如果其中有两个一起变化,结果就不再能告诉我们推理策略造成了什么。

                同一份契约

input ────────> Signature ────────> output
                    │
                执行策略
              /           \
         Predict       ChainOfThought

因为面向任务的契约是固定的,交换执行策略只给了我们一个被声明的实验因子: Predict 对 ChainOfThought。策略的改动会有后果——渲染出的提示词不同、多出一个 推理字段、token 用量不同、延迟不同——但这些是这项干预的效应,而不是被人手工拧动 的额外旋钮。

这在语言模型工作里罕见到值得停下来强调一番。许多提示策略之间的比较,会同时改动 指令、示例、输出格式和策略本身,然后报告哪一个组合"感觉更好"。

本章把这场比较正经地跑了一遍——在一个本地模型上完成 222 次实测调用——得到了一 个出乎我们意料的结果,而它的原因恰好就是本书余下部分的主题。


1. 两种策略,一份契约

直接预测:

import dspy

class RewriteSentence(dspy.Signature):
    """Rewrite one sentence to satisfy an editorial goal
    while preserving meaning, entities, and voice."""

    sentence: str = dspy.InputField(desc="The exact sentence to rewrite")
    goal: str = dspy.InputField(desc="The local reason this sentence is being edited")
    context: str = dspy.InputField(desc="Nearby prose needed to preserve continuity and voice")

    rewritten_text: str = dspy.OutputField(desc="A replacement sentence, not a paragraph")
    rationale: str = dspy.OutputField(desc="Short explanation of the edit")

direct = dspy.Predict(RewriteSentence)

显式推理,同一个签名:

reasoned = dspy.ChainOfThought(RewriteSentence)

ChainOfThought 在签名上扩展出一个额外的推理输出,模型先填它,再产出声明出来的 字段。契约没有变:

sentence, goal, context  →  rewritten_text, rationale

变的是策略:

Predict:        直接作答
ChainOfThought: 先产出中间推理,再作答

所以两者的调用代码完全相同,正是这个性质让实验成为可能:

def run_case(program, case):
    return program(
        sentence=case["sentence"],
        goal=case["goal"],
        context=case.get("context", ""),
    )

一处实现说明。实测运行器所用的共享仓库里的 RewriteSentence,已经带有两个额外输 入 issue_summary 和 preservation_notes,第 5 章在拆解程序时会用到它们。上面的 清单只是为了清晰起见,展示的是面向任务的核心。在这次实验中,这两个额外字段对两 种策略都以空字符串传入。

于是 Predict 和 ChainOfThought 收到的是完全相同的扩展签名,以及完全相同的取 值。唯一刻意的干预就是执行策略。


2. 设计一场有意义的比较

这个实验值得在看结果之前先讲一遍,因为设计就是它大部分的价值。

保持固定 变动
签名与字段描述 模块:Predict 或 ChainOfThought
模型、量化与生成设置
样例与重复次数
平衡的执行顺序策略
v1 与 v2 指标定义
v2 的语义评审器配置

模型是 Qwen3 8.2B、Q4_K_M,由 Ollama 提供服务,经由 DSPy 3.3.1 以 temperature 0 调用。Qwen3 的原生思考模式被关闭,这样模型层面的推理就不会污染 DSPy 两种策略之间 的区分——否则 Predict 也会悄悄地做思维链,比较就变成了推理对推理。

实验夹具是第 7 章构建的训练集与开发集划分中的 37 个样例。每种策略在全部 37 个样 例上各跑三遍,得到每种策略 111 次实测调用,合计 222 次。保留集(holdout set) 的划分没有被碰过。

最后这条约束不是走过场。在你已经看过的样例上跑比较,告诉你的只是那些样例的情况。 第 7 章解释这套纪律,第 18 章演示没有它会发生什么。

评测框架(harness)的核心并不稀奇:

def compare_modules(cases, programs, repetitions=3):
    rows = []
    for rep in range(repetitions):
        for case in cases:
            for name, program in programs.items():
                pred = run_case(program, case)
                rows.append({
                    "case_id": case["case_id"],
                    "module": name,
                    "rep": rep,
                    "rewritten_text": pred.rewritten_text,
                })
    return rows

实测运行器再加上平衡的执行顺序、延迟与 token 统计、输出校验、来源记录和保留集保 护。对每个样例与每次重复,它轮流决定哪种策略先跑,于是某一种策略不会系统性地占 据更"热身"的位置。

平衡的顺序减少了一个明显的偏差来源;它并不会让本地模型变成确定性的。后面重复的会 话表明,即使在 temperature 为零时,调用历史仍然能推动某些输出。这就是为什么小的 聚合差值(delta)需要的谨慎,要比四位小数的表面精度所暗示的更多。


3. 我们测量到了什么

度量 Predict ChainOfThought
实测调用 111 111
硬门失败 6 6
平均分数,指标 v1 0.8034 0.8175
平均分数,指标 v2 0.7862 0.8175
平均延迟 1.879 s 3.113 s
Prompt tokens 38,481 41,478
Completion tokens 8,490 14,481
总 token 46,971 55,959

成本那一侧很直白,大致就是你所预期的。ChainOfThought 耗时多出 66%,总 token 多用 19%,completion token 多用 71%——它把思考说出口,而说出口是要 花钱的。逐个样例看,延迟比值在 1.11× 到 2.27× 之间。

质量那一侧才是变得有意思的地方。

在指标 v1 下——也就是第 8 章基线所用的结构/参考重叠指标——ChainOfThought 的分 数高 0.0141。这越过了本书过去那条机械平局阈值 0.01,但它的量级与后来从未改 动的基线上观察到的跨会话漂移相当。

所以重要的结论并不是 +0.0141 是一个稳定的质量收益。单看的话,这个聚合值太小, 撑不起这个主张,也无法为多出 66% 的延迟辩护。更可审计的证据来自追问:究竟是哪 些个别样例让两种策略、两种指标出现了分歧。

在指标 v2 下——它在同一结构分数之上增加了一项语义检查——差距是 0.0313,是前 者的两倍多。

还要注意,ChainOfThought 的 v1 与 v2 分数在小数点后四位上完全相同。在 111 次调用中,它一次语义违反也没有产出。Predict 的两个分数相差 0.0172。

这个差值就是全部的发现,而它来自一个样例。


4. 决定结果的那个样例

样例 ed-025 属于法律平实语言家族(family)。任务是在不改变其 30 天期限何时起 算的前提下,简化一条正式的通知要求。

夹具中的原句是:

对上述缺陷的通知必须以书面形式作出,不得迟于交付后的三十(30)天。

参考改写是:

你必须在交付后 30 天内以书面形式报告该缺陷。

Predict 返回的是:

你必须在收到物品后 30 天内,以书面形式就该缺陷通知发送方。

ChainOfThought 返回的是:

你必须在交付后 30 天内,以书面形式就该缺陷发出通知。

两个输出都完成了所要求的平实语言转换。两者都保住了 30 天的期限,也保住了书面通 知的要求。在 v1 下,Predict 得分 0.933,ChainOfThought 得分 0.967。

差别在于触发事件。夹具明确要求期限自交付起算。Predict 把它改成了收到物品。 这两个短语可能指不同的时间点,因此这次改写违反了一条具名的语义要求,尽管它在词 面上仍接近参考答案。

语义评审器把这条要求标记为 violated,原因码是 scope_changed,而指标 v2 会把违 反了语义约束的改写封顶在 0.30。

现在来算这笔你可以自行核对的账:

ed-025 在 v1 下:   0.933
ed-025 在 v2 下:   0.300
差值:              0.633

摊到 37 个样例:    0.633 / 37 = 0.0171

v2 差值 − v1 差值:  0.0313 − 0.0141 = 0.0172

这场策略比较中整个 v1 对 v2 的差距,是由一个格外突出的夹具样例驱动的: ed-025。 这个样例在每种策略下各跑了三次,所以严格说来这并不是单一的一次观 察,但它是 37 个样例中的一种语义情境。

这有两面。v2 的结果格外可审计:聚合差异可以归结为一对句子、一条冻结的约束,以及 读者可以查验的算术。而作为关于推理的一般性主张,它又很脆弱。把同一个样例重复三 次,并不会把一种失败变成一个失败类型的分布。

所以 ed-025 是这样一种证据:在这套设置下,推理能够避免直接预测所犯的语义疏 漏。它并不是"推理总体上改善了法律文书改写、改善了语义保持,或每 37 个样例就能救 回一个"的证据。


5. 两个指标,两种答案

同一个实验,总结两遍。

在 v1 下: ChainOfThought 的分数高 0.014,时间成本多 66%。这个实测收益 与后来观察到的运行间漂移太接近,单凭聚合分数不足以证明付出额外成本是值得的。

在 v2 下: ChainOfThought 的分数高 0.031,在这 111 次调用中没有产出任何语 义违反,并且避开了 v1 给出高分的 ed-025 触发日期改动。

同样 222 次调用。同样的输出。同样的延迟测量。改变的是评估标准。在 v1 下,证据不 足以证明为推理付费是值得的。在 v2 下,实验显露出一项具体的正确性收益,而它的价 值取决于应用为那种失败付出多大的代价。

这不是两个相互矛盾的数据集。这是同一个数据集回答了两个不同的评估问题。

这是本书中第一次出现"指标的选择改变了答案本身,而不是答案的置信度",而且远不是最 后一次。在第 9 章,我们会直接攻击 v1,并发现三句为颠倒作者原意而设计的句子,得分 在 0.85 到 0.96 之间。在第 11、12 章,两个不同的优化器各自独立地发现,它们可以通 过破坏一个句子来抬高 v1 的分数,而且两者都对同一个样例下手。

这个模式在这里已经以最温和的形式显现出来:v1 给一个语义上无效的改写打了很高的 分。 Predict 在改掉期限的触发事件之后,仍然拿到 0.933。

0.933 的计算过程里没有任何软件错误。候选改了句子、没有超出长度规则、保住了硬门 限定的词,并且与参考答案高度重叠。v1 正确地测量了这些属性。它只是缺少能够提出这 个问题的组件:交付是否已经变成了收到。

指标回答的是它的特征里所编码的那个问题。工程上的错误,是把那个问题与整个任务混为 一谈。

牢牢抓住这一点,因为第 10 到 13 章的诱惑,会是把一个上涨的数字读成进步。


6. 推理轨迹不是证据

另一则告诫,而上面的结果很容易让人过度解读它。

ChainOfThought 产出一个推理字段。人们很容易把这个字段当成"答案为什么是对的"的 解释。它不是。它是同一个模型在同一次调用中、与答案一同产出的计算状态——而一个即 将犯错的模型,会很乐意产出一段流畅的推理,把错误引导出来。

对于 ed-002,直接预测器返回:

Mira 在雨和泥中走了一整天,累了。

ChainOfThought 明确推理说,改写应当在去掉冗余的同时保留因果关系,然后返回了同 一个句子。推理是对的,却什么也没换来。

反过来的情况更危险。一条写着*“改写保留了所有实体并改善了节奏”*的轨迹,并不是实 体得到了保留的证据。它是一个利害相关方的主张。唯一把 ed-025 确立为失败的,是在 产出它的程序之外进行的一次评估运行。

而即便如此,也比听起来更弱。第 9 章的语义评审器与任务程序使用同一个底层模型。它 是一次检查,不是一个独立的权威;第 9 章大部分篇幅都在校验评审器,而不是假定它可 靠。

更丰富的执行策略只是一个假设。推理轨迹不是结果。


7. 什么时候该用推理

先诊断失败,再为策略付费。

失败 推理会有帮助吗 更好的第一步
输出字段缺失或格式不对 很少 加强字段描述与校验
实体被改名 有时 加一条显式约束和一道确定性检查
含义或范围悄悄改变 可能;这里有一个样例靠推理改善了 先加语义检查,再测量推理是否减少了该失败
句子被过度压缩 有时 先提供更多上下文,再比较策略
类型强制转换失败 很少 简化输出,或修好解析边界
领域知识错误 不会 提供检索,或更换模型
太慢 不会 优先直接预测,或更小的模型

由本章测量得出的修订版规则,比"推理有帮助"更窄,也更有用。v1 上的聚合收益相对观 察到的运行间漂移很小。更大的 v2 差异可以追溯到一个格外突出的样例:在那个样例上, 推理保住了一条被直接预测改动的语义要求。

这并不意味着另外 36 个样例在行为上完全相同,也没有确立推理防止语义错误的一 般比率。它的意思是:我们找到了一个具体的失败类别,对它而言,额外的计算确实起了 作用。

这笔交易值不值得付,取决于应用的利害关系与失败成本。实验提供了实测的延迟、token 成本和观察到的失败。产品或领域策略必须决定,避免那种失败值多少。

还要注意那六次硬门失败,在两种策略下完全相同。在这个指标里,硬门检查两项确定性属 性:必需的实体必须仍然出现,禁止词不得出现。

在这次运行中,推理没有减少那些失败。这并不证明推理永远帮不上实体保持或避免禁用 词;它表明只改变执行策略,这个实测失败计数保持了不变。

更重要的是,这些属性已经有确定性的检测器。一旦一个失败可以被直接检查,系统就不该 依赖一条推理轨迹来为它背书。


通常会出什么错

症状 可能原因 如何诊断 改什么
思维链看起来更好,但输出更长 风格随策略一起隐式变了 在相同的长度约束下比较输出 把风格约束放进契约或指标
两种策略返回的字段不同 契约实际上并没有被共享 检查两个模块的定义 两者使用同一个签名类
推理文本到达了用户面前 中间状态泄漏进了响应 检查 API 载荷和 UI 绑定 只返回声明过的输出字段
一个极小的分数差被报告为胜利 该差值落在运行间噪声之内 先重复运行,测量散布 在引用差值之前先确立噪声底线
模型的原生推理是开着的 模型层面与框架层面的推理混在了一起 检查 provider 关于 thinking 或 reasoning 模式的设置 关掉它,或在显式固定它的情况下测量
一次改写得分很高却是错的 指标看不见这一失败类别 手工查看高分输出,而不只是低分输出 加一道能看见它的检查,然后攻击那道检查

本章小结

现在我们可以在不同的执行策略下运行同一份任务契约,并把差异归因于策略。这正是本 章着手确立的机制,而它奏效了。

它产出的结果并不是我们预期的那个。在 222 次实测本地调用中,ChainOfThought 多花 了 66% 的时间和 71% 的 completion token,换来 0.014 的词面改进——离噪声太近,以至 于按本书最初所用的那个指标,合理的结论是不值得费这个劲。

而在一个看得见意义的指标下,同样这 222 次调用说出了不同的话;这个差异归结为一句 话:关于 30 天退货窗口的那句话,Predict 错得微妙而又代价高昂。

两条教训,而第二条才是持久的。

窄的那条:额外的推理是一种成本,你应当拿它与具体的失败模式称量,而不是拿它与"推 理就是更好"这种泛泛的信念称量。这里的聚合改进很小,而一个可检视的样例显示了一次 真实的语义抢救,原来的指标看不见它。

宽的那条:是测量决定了答案。 在对这个实验的两种读法之间,程序本身没有任何改 变。唯一变了的,是我们能够看见什么,而它翻转了一条工程建议。第 9 章会有意攻击这 个指标,第 11 到 13 章会把它交到优化器手里,而那些优化器的全部工作就是最大化它。

不过在那之前,还有一个更基本的架构问题一直被我们推迟着。真实系统很少只由一次调 用构成。一位编辑可能先分析上下文、产出一个候选、再对它做评估——三个阶段,各有自 己的契约。

拆解本该是显而易见的好事。第 5 章来测量它。

一个生产级的思维链模块——它把推理风格当作输入携带,而不是把它烤进程序里——在第 21 章附录中被节选。