在每个位置都用最弱的部件组合出一条流水线
在 Pi 1.0.4 的脚本化响应下运行 checkClaim():便宜路径两次请求,编造引用时抛出一次,而有界的智能体只为一个 insufficient 判定付费。
组合并不意味着要用智能体。一个论断检查器需要四种部件——一个普通函数、一次带类型的模型调用、一次成员资格检查和一个智能体——而每一种都只在更弱的那些无法决定的地方被使用。本页展示那个标准的 examples/ch40-composition/pipeline.ts 里承重的部分,在 Pi 1.0.4 上用一个脚本化的 provider 运行。
运行它
那两个确定性的零件完全不需要模型——而其中一个是模型的输出必须通过的那个检查:
// 1. A plain function. No model. Deterministic, free, testable with no script.
export function retrieve(corpus: Corpus, claim: string): string[] {
const words = claim.toLowerCase().split(/\W+/).filter((w) => w.length > 3);
return Object.values(corpus).filter((text) => words.some((w) => text.toLowerCase().includes(w)));
}
// 2. A plain function again: the check the model's output must pass.
// A citation the model invented is not in the evidence, so it fails here.
export function citationsAreReal(a: EvidenceAssessment, evidence: string[]): boolean {
return a.citations.every((c) => evidence.includes(c));
}这个检查运行在每次模型调用之后、任何下游的东西之前:
const checked = (a: EvidenceAssessment, given: string[]) => {
if (!citationsAreReal(a, given)) throw new Error("assessment cites evidence that was not provided");
};
checked(assessment, evidence);升级智能体存在的理由只有一个——一个 insufficient 判定——而它是有界的,好让一个一直搜索的模型不会失控:
const agent = makeResearchAgent(models, model, corpus);
let turns = 0;
let overran = false;
const limit = ESCALATION_TURNS;
const unsubscribe = agent.subscribe((e) => {
if (e.type === "turn_end" && ++turns >= limit) {
overran = true;
agent.abort();
}
});
try {
await agent.prompt(`Find more evidence about: ${claim}`);
} finally {
unsubscribe();预期结果
每一行都是已观察的:pipeline.test.ts(Pi 1.0.4,脚本化的响应)对它做出断言,而那些请求数对于那个控制流是精确的。
| 脚本化的行为 | 请求数 | 结果 |
|---|---|---|
| 第一次评估就是 supported | 2 | route: "single call";没有构建任何智能体 |
| 编造的引用 | 1 | 抛出 “not provided”;下游什么都没运行 |
insufficient 判定 |
5 | 智能体的轮次、第二次评估、摘要 |
| 升级路径上编造的引用 | 4 | 同一个抛出;摘要永远不运行 |
| 智能体找到的真实引用 | — | 通过,对照语料库检查,而不是对照格式化文本 |
| 一个从不停止搜索的模型 | 9 | 在 ESCALATION_TURNS 处被截断,然后被评估和摘要 |
| 被截断且什么都没找到 | — | 在第二次 assess() 之前抛出——没有什么新东西可以据以重新决定 |
智能体是唯一一个会失控的部件,所以只有它带着一个边界——陈述在一个常量里:ESCALATION_TURNS。
机制与局限
有文档记载: 这些部件所依赖的一切——一次请求的 assess()、带工具的 Agent 循环,以及 step() 的 maxAttempts/maxTurns(pi-ai 与 pi-agent-core 1.0.4)。已观察:pipeline.test.ts 里的八个测试,在脚本化的响应下。本书提出: 这个设计——能跑起来的最弱部件、检查放在模型之后、提取证据而不是信任文字,以及那个边界值。
一次成员资格检查能抓住一个不在证据里的引用;它抓不住一个在每条引用都真实的情况下依然错误的结论。那些请求数不是预测:一个真实模型可能走一条不同的路径。
Understand this example
Copy this prompt into your AI tool. No code runs here.
Apply this example
Copy this prompt into your AI tool. No code runs here.