Example

在每个位置都用最弱的部件组合出一条流水线

在 Pi 1.0.4 的脚本化响应下运行 checkClaim():便宜路径两次请求,编造引用时抛出一次,而有界的智能体只为一个 insufficient 判定付费。

组合并不意味着要用智能体。一个论断检查器需要四种部件——一个普通函数、一次带类型的模型调用、一次成员资格检查和一个智能体——而每一种都只在更弱的那些无法决定的地方被使用。本页展示那个标准的 examples/ch40-composition/pipeline.ts 里承重的部分,在 Pi 1.0.4 上用一个脚本化的 provider 运行。

运行它

那两个确定性的零件完全不需要模型——而其中一个是模型的输出必须通过的那个检查:

// 1. A plain function. No model. Deterministic, free, testable with no script.
export function retrieve(corpus: Corpus, claim: string): string[] {
	const words = claim.toLowerCase().split(/\W+/).filter((w) => w.length > 3);
	return Object.values(corpus).filter((text) => words.some((w) => text.toLowerCase().includes(w)));
}

// 2. A plain function again: the check the model's output must pass.
// A citation the model invented is not in the evidence, so it fails here.
export function citationsAreReal(a: EvidenceAssessment, evidence: string[]): boolean {
	return a.citations.every((c) => evidence.includes(c));
}

这个检查运行在每次模型调用之后、任何下游的东西之前:

	const checked = (a: EvidenceAssessment, given: string[]) => {
		if (!citationsAreReal(a, given)) throw new Error("assessment cites evidence that was not provided");
	};
	checked(assessment, evidence);

升级智能体存在的理由只有一个——一个 insufficient 判定——而它是有界的,好让一个一直搜索的模型不会失控:

		const agent = makeResearchAgent(models, model, corpus);
		let turns = 0;
		let overran = false;
		const limit = ESCALATION_TURNS;
		const unsubscribe = agent.subscribe((e) => {
			if (e.type === "turn_end" && ++turns >= limit) {
				overran = true;
				agent.abort();
			}
		});
		try {
			await agent.prompt(`Find more evidence about: ${claim}`);
		} finally {
			unsubscribe();

预期结果

每一行都是已观察的:pipeline.test.ts(Pi 1.0.4,脚本化的响应)对它做出断言,而那些请求数对于那个控制流是精确的。

脚本化的行为 请求数 结果
第一次评估就是 supported 2 route: "single call";没有构建任何智能体
编造的引用 1 抛出 “not provided”;下游什么都没运行
insufficient 判定 5 智能体的轮次、第二次评估、摘要
升级路径上编造的引用 4 同一个抛出;摘要永远不运行
智能体找到的真实引用 — 通过,对照语料库检查,而不是对照格式化文本
一个从不停止搜索的模型 9 在 ESCALATION_TURNS 处被截断,然后被评估和摘要
被截断且什么都没找到 — 在第二次 assess() 之前抛出——没有什么新东西可以据以重新决定

智能体是唯一一个会失控的部件,所以只有它带着一个边界——陈述在一个常量里:ESCALATION_TURNS。

机制与局限

有文档记载: 这些部件所依赖的一切——一次请求的 assess()、带工具的 Agent 循环,以及 step() 的 maxAttempts/maxTurns(pi-ai 与 pi-agent-core 1.0.4)。已观察:pipeline.test.ts 里的八个测试,在脚本化的响应下。本书提出: 这个设计——能跑起来的最弱部件、检查放在模型之后、提取证据而不是信任文字,以及那个边界值。

一次成员资格检查能抓住一个不在证据里的引用;它抓不住一个在每条引用都真实的情况下依然错误的结论。那些请求数不是预测:一个真实模型可能走一条不同的路径。

完整源码与测试

Understand this example

Copy this prompt into your AI tool. No code runs here.

Apply this example

Copy this prompt into your AI tool. No code runs here.