← Context From First Principles

压缩就是损失

把压缩当表示变换,损失须对声明的保留义务测量,选择失败和变换失败分开,文本质量和留存效用分开。

智能体累积了 work 的过去:500 token 的架构决定、4,000 的没解决 bug 历史、8,000 的三次失败尝试、20,000 的工具观察、6,000 的当前实现。数字是说明。第 10 章干它的活:重复删,检查过 superseded 的观察删,失败输入 bulk 留必需诊断 residue 删。大约 13,000 token 离开,约 25,000 留下。例子声明的义务下,没有条目有资格彻底删除。而剩下的上下文比运行时为后面的会话分配的预算大。下一个选择不一定在全留字节和删 essential 信息之间。留下的有些换种表示也行,只要保留义务活下来。本章从这里开始。

往前走是换表示:大表示换成小表示,意在保留未来算子要的东西。

压缩(compaction)把以前上下文的大表示换成小表示,意在保留指定的信息。

重要的词是意在,意图和 demonstrated 保留的 gap 就是 whole 主题:

意图保留 ≠ 证明保留

本章用 compression 和 compaction 指现行表示尺寸的 reduction,意在 carry 指定信息。替换能摘录、抽象、结构化、确定性、模型生成。重要不是模型写的否,而是操作建或选了意在 stand 被删信息的更小表示。这 deliberate 跨[第 10 章](/zh-cn/books/context/10-chapter/)的操作边界:剪枝删了不用语义替代;压缩试图在替代物里保留选定的含义。删精确重复段落(别处还有拷贝)是剪枝。选句子 stand 否则删掉的段落是压缩,选的句子逐字复制也一样。

三件事容易搞混:

表示缩减     输出更小
信息损失     来源表示的信息在要求的保真下
             从压缩表示恢复不出来
任务相关损失 丢的信息违反声明的保留义务
             或下游任务要

换表示不一定丢信息:散文陈述的版本存成类型化字段,形式变内容留。所以:

表示变了 ⇏ 信息丢了 ⇏ 必需信息丢了

更小的表示省略来源的表面细节,但那没确立它丢必需的事实、关系、约束。典范结构化编码甚至减少冗余措辞而声明的字段精确全留。替换丢后面要的信息否须对显式义务和下游任务检查。本章不对任意来源内容从编码可恢复否做信息论断言。

三种测量

摘要能流利连贯 plausible,漏掉后面二十轮依赖的约束。丢的东西缺席不 wrong,缺席没有文体签名。所以三种不同的断言要三种不同的测量:

文本质量  ≠  信息留存  ≠  行为效用

文本质量是陈述 rubric 下产出文本的属性。留存是冻结来源、压缩输出、声明保留义务的关系,义务逐条检查。效用是指定模型评估条件下下游任务的比较行为结果。成功的任务跑确立不了每义务都留存:成功可能没依赖丢的东西。反过来,义务留存了还可能定位不到、用不起来。这些测量分母与证据状态分开保留。

压缩比是预算测量不是保真测量:

压缩比 ≠ 保真度

十倍 reduction 能保留要求的一切,能丢一 decisive 标识。留存也不蕴含[第 5 章](/zh-cn/books/context/05-chapter/)的后面 states:留存的东西能更难定位、更好用,制造干扰。变换还改变长度位置相邻([第 6 章](/zh-cn/books/context/06-chapter/)),压缩后行为变归因不到信息损失 alone。更短的表示能经排布改善行为同时丢信息。这就是留存先于行为测的原因。

损失与可恢复性

现行上下文的损失不一定是系统的损失。单独保留、版本识别的来源支撑压缩形式的验证或再生,但指针 alone 确立不了来源还读得了。反过来,压缩形式是唯一的留存记录,丢的义务可能 irrecoverable。实验因此冻结保留原来源及其 identity,独立于候选压缩。恢复断言要求实际取回加保真检查;审计条目代替不了任何一个。本章规定那个测试,不建存储系统。

保留是义务相对的

有些内容转述活不下来。拿 “Use PostgreSQL 18.2”、“Migration ID is 01947”、“Never modify production migrations without explicit approval”。散文摘要器产出 “18”、“1947”、“generally avoid”。语言变化小,表示变化大:错版本、错标识符、禁令软化成建议。

要求不是这类内容绕过变换。而是变换后的表示达到声明的保真下限。类型化字段 {"database": "PostgreSQL", "version": "18.2"} 保住精确版本(字段后面不 coerce 的话);migration 标识符类型化成字符串只在值精确复制时保住前导零;结构化约束只在条件范围力度留存时保住禁令。schema 是表达义务的办法,不是变换满足它的证明。所以字面散文不必留存,要求语义与精确字段 demonstrably 留存时:

低于下限不许变换
        ≠
必须复制原文散文

PIN 管束的保留义务([第 7 章](/zh-cn/books/context/07-chapter/))禁准入条目降到适用下限下;它不自动要求原文散文。压缩也不授予撤销改变指令的政策 standing:第 19 章从可信来源政策推导那个。变换能丢的是约束的表达。“never” 变 “generally avoid”,话题留存,禁令变建议。实验里义务和可信来源 identity 评估前冻结;压缩断言认证不了自己的权威性。这里测的义务是:

义务 必须留存什么 评估器 失败例子
精确字段 类型化值 类型化相等 18.2 变成 18
标识符 字符串,逐字节 文本对比 01947 变成 1947
约束力度 禁令还是禁令,带限定 冻结断言或 rubric “Never” 变成 “generally avoid”
理由 决定和理由 冻结 rubric 决定留了,理由丢了
状态 假设、open 还是 closed、选中还是拒绝 分类相等 suspected 变成 established
来源 断言谁或什么说的 来源 identity 关系 用户指令变成 unattributed 断言
关系 条目怎么关联 冻结关系断言 “A 被拒因为 B 违反 C” 变成 “A、B、C 都考虑过”

在 Context Viewer 里检查

本章的 viewer scene 把上面的禁令例子当声明的契约 work:四义务(精确版本 18.2、精确标识符 01947、禁令力度、租户限定)对留 headline 挂三 of 四的压缩摘要。打开 scene 先看义务逐条 diff 再看压缩比。看什么:哪些义务留存,哪些 mutation,哪些缺席,完整文本经验证指针可恢复否。这是失败形状的构造说明,不是任何生产摘要器的测量;流利看得见,保真只对声明的契约 judge。

Viewer 义务 diff:四声明保留义务,一留存,两缺席,一 mutation。摘要更短,但它检查的契约挂了。
流利摘要对它的保留契约:四义务一留存。构造说明;比率报告,保真义务相对。

在 Context Viewer 里打开压缩损失 scene

状态与关系

最 subtle 的失败不是省略。来源说 serializer 疑似 corrupt 时间戳,摘要说 serializer corrupt 时间戳。话题留存,认识状态没留存,下游行为按没人确立的事实行动:

命题留存 ≠ 状态留存

本章只测 fixture 用的 states:假设、established、open、closed、选中、拒绝。不建 general 认识论。

关系能在名词全留存时丢,评估器须检出因果依赖丢失、否定反转、行动者来源 reassignment(fixture 要求处)。来源能在散文留存时丢,第 19 章无东西 adjudicate,所以这里测量。

摘要把假设提成事实

Laban 等(2025)报告多轮互动里过早假设与 anchor 早答案,低温度在评估条件里消不掉。那是关于多轮行为的证据,不是压缩导致状态 mutation 的直接实验。后者是本章提议测的失败模式:early 笔记说 serializer 可能 corrupt 时间戳,摘要说它 corrupt。不用发明新命题;“might” 一掉,断言的认识 standing 变了。保留检查因此须区分用户要求、工具观察、模型试探假设、验证发现,不把它们当同样 established 的叙事历史一视同仁。

失败维度

省略不是唯一的失败法,压缩生成也删除。失败是维度,不是互斥的箱子。一变换产出几个,状态 mutation 也算内容 mutation:

  • **内容省略:**要求的信息缺席。
  • **内容 mutation:**信息留存但变了,比如 5432 变成 5433。
  • **不支持的添加:**输出断言来源从没确立的东西。剪枝做不到,压缩能。
  • **状态 mutation:**可能变成事实。
  • **来源丢失:**断言留存,来源没了。
  • **关系丢失:**parts 留存,连接没了。

添加按冻结定义计数,分成现存命题的 mutation、完全不支持的断言、认识加强。

选择失败与变换失败

压缩器两处能挂:

来源 → 选择 → 须留存什么 → 变换 → 压缩输出

选择失败是要求的信息没选中保留。变换失败是选中了,表示错了。不同的失败:

选择失败 ≠ 变换失败

实验只有记录中间保留规格才分得开两失败位置。压缩器拿到冻结完整的保留规格,还把列的义务表示错,观测的失败是那个规格下的变换失败。普通压缩器自己提的保留清单漏义务,是选择失败;选中义务没保住,是变换失败。没有可检查的选择记录,输出省略一项 alone 认不出哪个阶段挂了。

压缩是在不确定的未来需求下选择,两不确定:未来任务要什么,变换保住声明义务否。安全约束不管 hidden 探针问不问都要保留,保留义务独立下游探针打分。不然没问起、毁掉的约束看着 harmless。oracle 条件拿到普通压缩器拿不到的 hidden 要求。它是选择 oracle,度量多少难度是预测,不声称解表示。

压缩器自己报告保留了什么是生产者断言,不是评估 ground truth:

生产者断言 ≠ 评估器测量

留存由评估器从冻结来源、冻结义务、输出测量。

反复压缩

一次压缩是分析单位。长会话反复压缩,那是不同的机制:

递归:        S0 → C1; C1 + Δ1 → C2; C2 + Δ2 → C3
源 grounded: S0 → C1; S0 + Δ1 → C2; S0 + Δ1 + Δ2 → C3

递归压缩 propagate 早期错误,后面轮次操作 earlier 摘要。源 grounded 重压缩每轮把冻结原证据拿回来;去掉一 propagation 路,但增加输入体量延迟成本。两种在一轮里都能省略 mutation 义务。第三种办法(引用的 2026 年 9 月预印本描述)不压缩 earlier 压缩块,只压缩新累积材料。那个方案本身恢复不了 retained 压缩块里已丢的义务。本书先测递归与源 grounded 两种,第三种只在流程可复现、lineage 可测时纳入。

drift 一词留下来有操作含义:相对冻结来源义务跨压缩代的变化,不变量、标识符、关系、不支持的断言、状态、来源。跨轮留存对原义务报告,不只对上摘要报告,不然早期 catastrophic 损失从后面的指标消失。轮内与累积保留分开报告。

两操作 caution 适用。serving 研究预印本报告提示词指令对压缩输出的体量控制弱,保留内容跑间变,所以请求目标和实现尺寸都测量,重复方差跨。另外时机是独立设计变量,和[第 10 章](/zh-cn/books/context/10-chapter/)资格时机分开一致:

变换资格 ≠ 变换时机

成本、缓存与观察边界

模型驱动的压缩有自己的输入输出费用,确定性变换成本能不同。替换还改变渲染请求,可能移动以前可复用前缀的第一分歧;那本身证明不了缓存 miss 或成本涨。按第 9 章评估把结构分歧和 provider 报告的缓存读写分开记(有处),telemetry 缺席标没观测。它还区分管理开销、后面输入占用、provider 计费、延迟、信息留存、下游行为。压缩器省占用花总账多也可能,省钱丢约束也可能。这些结果没有一个从压缩比 alone 推断。

有的压缩 opaque。OpenAI 的文档描述压缩功能返回加密压缩项,嘱咐调用者原样透传。不管里面是什么,变化在可观测什么:

可检查:   来源 → 输出              (直接对比)
opaque:   来源 → opaque state → 行为

[第 2 章](/zh-cn/books/context/02-chapter/)的 law 适用:没观测不是缺席,proxy 不是观测。opaque 表示 targeting 下游探针间接测量留存,探针成功不是直接检查。本书对 opaque state 里面是什么不断言。

Anthropic 的 harness 文章从可检查 side 加结构 point。长跑智能体跨上下文窗口留 work 没做完,连续性经显式 artefact 建。下面收窄:有压缩上下文本身没确立跨窗口连续,关于摘要的断言是关于测得连续的断言,不是关于摘要对象的。

证据支持什么

来源种类不同,没有一种 setting 外 generalize。

来源 证据类型 验证的结果 本章采用 没确立
Compaction Cliff (Zerhoudi, Mitrovic, Granitzer) Preprint,CIKM 2026 列出 Claude Code /compact 提示词 Sonnet 4.6 一轮后 53% 安全规则留存、五轮后 10%,20 生产配置;作者的 defence 是类型 specific 算子 单压缩提示词丢严格条目 所有压缩器都;为什么
Cim 等 Preprint 提示词指令对摘要体量控制弱,保留信息跑间变(HotpotQA、LoCoMo;8B–120B 模型) 目标对实现尺寸测量,重复 所有摘要都这样
Anthropic 工程指南 厂商指南 压缩保留架构决定、没解决的 bug、实现细节,丢掉冗余工具输出;清旧工具结果是更轻的形式 测试的 practice 测得的效果
DCP 实现 受保护的工具输出追加进压缩摘要;有损摘要工具和剪枝分开 选择性压缩的实例 保留效果
Magic Context 实现 按时间摘要 compartment 替换老 raw 消息,durable 知识同 pass 提取 当前 raw state 和生成历史分开 效果;分级设计([第 12 章](/zh-cn/books/context/12-chapter/))

保留政策交给压缩器什么

第 11 章消费[第 7 章](/zh-cn/books/context/07-chapter/)从条目属性、环境能力、任务相关 state 推导的保留政策。它不用内在类:对象是条目,state 是它的推导政策结果。PIN 管束义务适用处,条目降不到下限下。推导政策允许压缩处,有损变换在显式保留义务下允许。允许丢弃处,第 10 章通常该在这阶段前删掉条目,压缩不该发明变换它的理由。允许外化或重取处,条目经测试的恢复路径表示,或在 identity 保真条件下缺席,第 13、14 章拥有那个机器。一条目能可恢复、一字段精确、另一表示可压缩、当前算子不需要,所以这不是分发表。

实验里压缩跑有输入输出契约。这是实验仪器,不是生产要求:

  • **入:**来源上下文、目标预算、保留义务与下限、来源要求、可选恢复 identity。
  • **出:**压缩表示、变换轨迹、生产者声称的保留状态。
  • **旁边记录:**来源与输出表示标识、来源 lineage、轮次、方法、模型配置、政策版本、目标实际预算,留存、不支持添加、状态、来源的评估器侧测量。lineage 须说清摘要四吃的是摘要三还是原证据。

提议的实验

这里什么都没跑。两者分析单位都是轨迹 fixture,一 fixture 的随机重复不是独立例子。fixture、条件、轮次、重复分开报告。

**所有跑前冻结:**来源、保留义务与下限、要求的状态、来源要求、下游探针、政策映射。压缩器拿到历史、当前任务、保留政策、目标预算。hidden 探针永不给,oracle 条件除外。

**实验 1:一轮。**条件是没变换历史、统一语义压缩、政策感知压缩、选择 oracle。没变换条件是保留参照,不一定是行为上界。选择 oracle 拿到普通压缩器拿不到的冻结未来任务要求,变换机制目标预算和匹配的政策感知条件一样;它的优势估计那个额外选择信息在测试任务下的价值,不是压缩质量的通用上界。选择失败变换失败分开,单独诊断条件给冻结保留规格,记录选的义务留存否。目标 token、达到 token、tolerance 违反、变换开销每条件报告;达到尺寸差得多,留存行为按达到尺寸条件解释,不全 credit 给政策。

**实验 2:反复压缩。**递归对源 grounded 重压缩,一三五轮,丢弃重启 challenger 可复现才纳入,每摘要记录 lineage。同样保留类别每轮对原义务记录。

**评估。**保留先于下游行为对原来源冻结义务评估。每类别分母分子保留:叙事义务 95% 留存、精确约束 10% 留存,永不塌成看着安心的总成功率。字段用类型化相等,标识符字节精确或显式归一化对比,状态分类检查,来源 identity 检查,关系语义要求冻结 rubric。判断要模型处,条件 label blind, calibration 子集人标一致性,unresolved 分歧报告,原例子留审计。再跨条件比下游任务成功、约束违反、不支持的断言、恢复成功,区分压缩输出缺席的信息和在场没用的信息。行为失败 alone,没对应 control 证明不了压缩导致。

**算数的结果。**统一压缩打平政策感知压缩;政策感知压缩保住严格义务但预算挂或开销 unacceptable;源 grounded 递归行为一样,或源 grounding 保留多但代价 prohibitive。opaque 方法观测探针上打平可检查方法,不证明内部保留等价。类别留存好下游没 gain,或任务成功好测得留存低。judge 分歧超预注册 tolerance,发现 unresolved。政策感知压缩 comparable 达到预算下没可靠保留优势,额外机器这些条件下没挣到 benefit 断言。本章保留意图保留 demonstrated 保留的区分,哪个方法赢都一样。

单阈值设计

常见简单设计一阈值:完整历史,一压缩表示。 abrupt transition,无中间 state:

raw ── abrupt 阈值 ──▶ 摘要

不是每个系统都这样。但设计提出下一章须回答、不提前回答的问题:

raw 历史到一压缩表示单跳让运行时对怎么交出保真度几乎没控制,表示变化能经显式中间 states 发生吗,它们的损失可见、有界、可测吗?

工程问题不是产出好摘要。是展示变换留存了哪些义务。

参考