← Context From First Principles

把窗口做大

问更强的长上下文模型消除、减少还是搬移上下文管理问题:模型侧机制改变什么和只有运行时能决定的分开。

七章把模型当固定地基,问周围系统怎么对它管理信息。自然的反对从第 4 章等到现在:上下文又缺又难管,为什么不把窗口做大得多?

想象团队把智能体搬到百万 token 模型。场景是说明。以前要剪枝的历史装下了,以前要 triage 的文件能全收了,压缩 schedule 变 quiet。一阵子,上下文工程像等便宜容量的临时措施。

认真对待这个回应,因为它部分对。更大的 provider 窗口装下以前违反硬上限的输入,运行时可能跟着抬自己的准入上限。那是两处分开的变化:换更大的模型不自动改变 harness 决定准入多少的政策。更便宜的处理也能放松成本约束。但装得下不是有帮助,第 4、5 章已经分开两者。反对还把四件不同的事跑在一起:

配置或 advertised 容量
        ≠
计算效率
        ≠
训练出的能力
        ≠
有效行为使用

每样都要真工程才拿到,拿到一样不拿到另几样。本章看模型侧能改变什么,带回后面全书依赖的边界:更大的窗口 ≠ 上下文问题解决。

模型侧的轴

第 1 章用四维度描述上下文包,全描述包和组装它的运行时。第 8 章加不同种类的东西:不是包的第五维度,是接口的另一边。

运行时                    模型侧
决定呈现什么               决定那个表示
表示                     怎么处理

  选择                     模型侧机制的例子:
  排序                     注意力变体
  保留                     循环或有界 state
  外化                     state 压缩
  检索                     位置机器

                  行为
         取决于两边

右列是可能的机制,不是通用流水线。循环有的结构有、有的没有,注意力能稠密稀疏线性混合,历史的表示设计间不同。行为取决于两边,任一边都不能宣布战胜另一边。更便宜的模型侧放松运行时的约束,去不掉它的决定。

长上下文为什么贵

从大窗口难的成本结构开始。常规稠密因果自注意力里,处理整序列涉及 query 位置和前面 key 位置的互动,序列变长注意力互动 work 大致二次。这是 prefill 注意力成分的描述,不是整服务的经验 scale law。前馈算子、混合专家路由、注意力核、内存带宽、batching、硬件能让总算子、延迟、价格 scale 不同。分组 query 注意力主要减少 key-value 头数与缓存代价;tiling 主要改变内存流量,两者都不该说成去掉稠密注意力互动的二次计数。长上下文结构 targeting 成本结构的不同部分。

内存是第二种货币。常规缓存自回归注意力里,不重算过去生成每新 token 须留看过的 token 的 key value state,即 KV 缓存。很长序列下那个 state 能成主要推理内存约束,多少看结构模型硬件 batch。不是每结构都留常规逐 token 缓存,后面节展示。

长上下文在处理提示词和生成 token 时代价能不同,改善一头的机制不一定同样改善另一头。本章对推理工程要这些就够。

移动代价的四种办法

长上下文能力靠几种机制 enable 或更经济。下面四个是有用的区分,但单独不足以确立某 advertised 窗口或其有效行为 reach:

  • 扩展位置范围让模型表示训练过的位置之外。
  • 降低 state 代价把长序列的历史存更少内存。
  • 降低互动代价把贵算子花在全注意力碰的东西的一小部分。
  • 改变历史的表示把 ever 增长的 token 历史换成有界或循环 state。

它们重叠。机制能同时降 state 与互动代价,循环 state 最好看成改变两者的不同结构家族,不是严格独立的第四杠杆。分解比任何厂商长寿,provider 只当 worked 例子出现,日期到 2026 年 9 月。

机制 直接改变 例子 引入的约束 行为问题
位置扩展 可表示的位置范围 Qwen3 加 YaRN 改过的位置映射 扩展位置质量保得住吗?
state 压缩 state footprint 与表示 DeepSeek V4 历史的压缩表示 哪些区分活下来?
稀疏互动 贵互动的次数 DeepSeek V4 不是每位置同等算子 什么相关信息 miss 了?
有界或循环 state 历史怎么表示、state 怎么 scale Kimi Linear、Kimi K3 总结历史的有界 state 哪些历史细节还可用?

列把机制事实和行为后果分开,这个分开是本章的不变量:机制算什么不告诉我们模型拿它做什么。

位置不是容量

很多当代开源 transformer 家族用旋转位置嵌入(Su 等的构造),旋转矩阵编码绝对位置、注意力里带相对位置依赖。训练长度用、远超它用的模型遇到没学过的位置,质量能为和注意力代价无关的原因受损。YaRN(Peng 等)是建在旋转嵌入上的有影响的扩展法之一。作者报告比以前的方法少约十倍 token、2.5 倍训练步,报告微调长度外推。

Qwen 的文档分开很多页面 blur 的数。Qwen3-8B 模型卡说原生上下文 32,768 token,YaRN 扩展到 131,072,缩放因子四。它警告有的推理框架实现静态 YaRN,每长度同样因子,可能影响短输入。2507 代 Qwen serving 文档展示上下文长度 flag 262,144,建议按可用 GPU 内存选值。那个 flag 描述部署模型的 serving 配置;它本身没确立训练范围、上限处验证精度、Qwen 权重的通用属性。

所以四样东西不同:

训练机制
    ≠
配置的最大值
    ≠
外推的上下文
    ≠
有效可用的上下文

训练机制是模型训练见过的东西,可能是长度分布不是一数。配置的最大值是 serving 设置允许的。外推的上下文是位置缩放够到的。有效可用的上下文是[第 5 章](/zh-cn/books/context/05-chapter/)的证据梯子要的,看任务位置干扰评估。扩展位置范围本身不降 state 或互动代价,没确立有效使用。

压缩与选择

state 压缩问表示以前 token 花什么,稀疏注意力问每 query 贵互动要多少。DeepSeek V4 技术报告(2026 年 4 月提交)把两者描述成交错混合,附发布的模型 artefact 与推理代码。它的压缩稀疏注意力把块压成表示,learned indexer 选候选做更贵的注意力。重压缩注意力用更高的压缩率。两者都含没压缩的局部滑窗分支,作者关联建模局部依赖。大 V4 变体作者报告单 token 推理 FLOPs 是 V3.2 对比的 27%、百万 token 下 KV 缓存用量 10%。这些是那个对比下的厂商报告测量,不是独立测量,也不是某 distant 事实可用的证据。

两观察跟出来。压缩改变后面算子经以访问历史的表示,保真问题须评估不能 assumed 掉。比原来小的表示必然丢掉区分一些可能输入的能力,除非别的信息留别处;那不意味着它丢特定任务要的区分。恰当的行为问题是要求的信息在指定任务长度位置下可恢复可用否。

稀疏选择在模型里造第二个选择问题,和运行时的准入问题不同。运行时选呈现什么材料;稀疏注意力选(或参与定)哪些内部表示拿特定算子。运行时漏掉关键指令和模型收到但没用,可能产出同样的可见失败,前者检查组装包确立,后者没模型侧证据归因不到稀疏路由。内部路由在[第 5 章](/zh-cn/books/context/05-chapter/)的梯子里不是观测步骤。distant decisive 块有效互动太少的说法可测假设,不是 DeepSeek V4 或稀疏注意力一般的 demonstrated 失败。

滑窗分支还制造结构不对称:新 token 有不依赖稀疏选择的直接局部路,distant token 没有。报告没说这是对上面风险的 defence,这里不推断设计者的动机。

经有界 state 记住

Kimi 的结构改变一些层表示历史的方式。常规 token 缓存注意力里 KV 缓存随序列长;Kimi Delta 注意力(Kimi Linear 报告与代码描述)用循环或线性注意力式 state,Gated DeltaNet 扩展加更细 gating。结构把这些层和多头 latent 注意力组合。Kimi Linear 作者报告相对全注意力基线百万 token 下 KV 缓存用量少 up to 75%、解码吞吐高 up to 六倍,报告的 setup 下。Kimi K3 仓库另描述 93 层混合(69 层 Kimi Delta 注意力、24 层门控 latent 注意力层)、2.8 万亿 total、1040 亿激活参数、1,048,576 token 上下文上限。这些是不同发表 artefact 的描述;Kimi Linear 效率结果不能静默当整个 Kimi K3 部署的测量。

两 caution 适用。单个循环部件的 state 不必随前面 token 数线性长,但 Kimi K3 混合还有全局注意力层与 serving 开销。固定尺寸的部件不是固定内存的整模型。更根本,有界 state 留不住无界输入历史任意细、可独立恢复的细节。保留任务要的特定事实否是经验的,state 尺寸 alone 读不出来。发表的结构描述算子与存储在哪;它不证明 distant 细节可靠回忆。

模型侧压缩不是保留政策

[第 7 章](/zh-cn/books/context/07-chapter/)的保留政策显式讲要求:保真下限、声明的政策 standing、任务 state、恢复义务。模型侧压缩是内部表示的 learned 变换。两者都改变多少细节随时可用,但只有运行时政策能明示要求具名来源、精确值、管束约束保留或可恢复。运行时明确保留决定也保证不了模型正确用准入条目;[第 5 章](/zh-cn/books/context/05-chapter/)在场和使用的区分还适用。两者跑在不同的信息与控制下:

运行时缩减
    显式政策,可观测的条目语义

模型侧压缩
    learned 表示,运行时政策 opaque

本章不断言模型实现保留政策。运行时的保留清单伸不进模型的 learned 压缩,细区分须经压缩表示保留,后面算子才恢复得了。

同样的分开适用局部性。有的长上下文结构显式区分局部或新近处理和 distant 历史处理,V4 滑窗分支是一例。局部性机制按位置或 learned 表示分配算子,运行时保留政策能用模型侧机制没有的显式语义 metadata:

局部性 ≠ 重要性

路由主要看位置的机制能 favor 新近 trivial 观察而不 favor 更早的管束约束。那是假设,不同结构处理指令不同。它说明位置局部性政策不是语义保留政策,两者都不必对应新鲜度,新鲜度归[第 20 章](/zh-cn/books/context/20-chapter/)。

训练决定学到什么

结构约束哪些算子可用、什么代价。训练 shape 参数怎么学用那些能力。三件事前后相随,别搞混:

结构允许
    ≠
训练暴露
    ≠
评估展示

支持更长序列的结构本身不展示那些长度的 learned 能力,长处可靠检索、推理、位置使用是行为断言,要第 5、26 章的评估。扩展方法换种货币说同样的话:够到更长的位置不是学会用它,Qwen 对静态缩放的 caution 说明代价在别处到来。

闭模型边界

OpenAI、Anthropic 经生产模型暴露很大的窗口,它们的接口、上限、缓存语义、压缩功能是本书合法的证据。它们的注意力结构是另一回事。本章 review 的第一方材料细节不够按上面机制分类它们的生产模型,所以关于它们什么都不 skating。模型侧比较 rests 在有公开报告实现的架构。公开能力不 license 对没文档内部的推断,推断它们的章节拿 evidentiary 纪律换表面完整。

在 Context Viewer 里检查

本章的 viewer scene 在同样 fixture 上对比小配置和大配置:大配置下更多材料装得下,四政策问题(权威性、过时、冗余、范围)在旁边原样不动。打开 scene 分开机器移动的东西和仍要运行时政策的东西。看什么:一边容量成本,一边没决定的治理。装得下不是准入,两者都不是帮忙。

两并排容量条。大配置装更多材料,四 open 政策问题在旁边原样不动。
更大的窗口能移动容量和成本;没有运行时政策治理还是没决定。构造说明。

在 Context Viewer 里打开容量 scene

什么变,什么不变

本章的中心问题现在一矩阵回答。假设结构让百万 token 处理近乎免费,检索保真,任何长度不退化。哪些约束动,哪些不动?

约束或问题 模型变化动它吗? 去掉运行时决定吗?
硬上下文容量 动 不
处理成本、延迟 动 不
KV 或 state 内存 动 不
有效长上下文行为 看情况,须测量 不
准入什么信息 改阈值 不
要求什么表示保真 本身不 不
哪个重复冗余 本身不 不
哪个来源权威 不是底层事实 不
什么信息过时 不是底层事实 不
哪个项目范围适用 不是底层事实 不
什么外部信息现在回来 本身不 不

改变压力不等于消灭决定。结构 alone 给不了最后几行要的外部政策事实:权威性来自部署政策,新鲜度来自时间戳与来源 state,范围来自外部成员,矛盾的解决来自来源。模型能训练推断预测其中一些,推断不等于事实。边界最强形式是:

处理能力 ≠ 政策知识

本章同等力度拒绝反方向的错。这些都没让长上下文或结构无关。关系是互补:

更高效或更强的长上下文结构
        ↓
改变可行域与成本曲线

更好的运行时上下文政策
        ↓
改变呈现的信息

一起
        ↓
上下文系统

第一方 case 展示同一系统两杠杆。Kimi K3 仓库报告 BrowseComp benchmark:300K token 触发的上下文压缩策略 91.2 分,整百万 token 窗口无管理 90.4。两个点估计,一 benchmark,厂商报告,差小。它只说明大模型侧容量和运行时上下文管理能在一评估系统共存。本章的论点不依赖它,明天 practice 变了也成立:结构控制处理可能与成本,运行时政策控制呈现的信息。

两缓存,不是一

一混淆须在下一章前清掉。模型推理 state(KV 缓存或结构的循环 state)按 serving 实现跨请求的 decode 步骤 persist。provider 的前缀缓存不同:serving 层机制,渲染前缀匹配的跨请求复用算子,自动或显式控制,最小长度 lifetime 各 provider 不同。两者共享词汇,归属、粒度、控制不同:

模型推理 state ≠ 跨请求前缀缓存

为减少准入上下文做的运行时 edit 也缩短或作废前缀匹配缓存方案下的可复用前缀匹配,优化一台账 damage 另一台账。第 9 章拥有细节。

本书不测什么

本章不跑新实验,选择 deliberate。它的主要贡献是概念分解与外部政策内部处理的边界。结构描述引用的技术报告、模型卡、仓库;报告的效率数还是作者评估条件下的断言。配置长度和有效使用的区分由[第 5 章](/zh-cn/books/context/05-chapter/)的外部行为研究支撑,不是由为本书在 DeepSeek V4、Kimi K3 上做的实验。模型结构本身定不了外部来源权威性与任务 specific 准入的断言是关于缺失政策输入的论证,不是关于模型性能的测得预测。

便宜留下的浪费

假设结构完全成功。运行时组装周二的包:指令、项目规则、工具定义、历史、检索文件、新观察、当前请求。周三的调用几乎全收一遍,加一新轮次。没有跨请求复用,稳定前导 span 的处理可能重复。那不意味着每 token 在所有 serving 结构下同样重算,也不意味着特定 provider 两调用计费一样。容量决定装什么;模型效率改变处理它的代价。跨请求重复 work 还是独立的系统问题:

已在可复用前缀上做过的 work 何时安全经济地复用?

参考

  • DeepSeek-AI. “DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence.” Vendor technical report, arXiv:2606.19348, April 2026. CSA and HCA hybrid; lightning indexer with top-k selection; sliding-window branch; 27% of single-token inference FLOPs and 10% of KV cache versus V3.2 at 1M (vendor-reported). https://arxiv.org/abs/2606.19348
  • Kimi Team. “Kimi Linear: An Expressive, Efficient Attention Architecture.” Vendor technical report, arXiv:2510.26692, October 2025. KDA extending Gated DeltaNet; hybrid with MLA; up to 75% less KV cache and up to 6× decoding throughput at 1M (vendor-reported). https://arxiv.org/abs/2510.26692
  • MoonshotAI. “Kimi-K3.” Official repository, verified September 2026. 69 KDA and 24 gated MLA layers; 2.8T total and 104B active parameters; 1,048,576-token context; BrowseComp 91.2 with compaction at 300K versus 90.4 with the full 1M window (vendor-reported). https://github.com/MoonshotAI/Kimi-K3
  • Qwen Team. “Qwen3-8B model card.” Hugging Face, verified September 2026. 32,768 native, 131,072 with YaRN; static-scaling caveat. https://huggingface.co/Qwen/Qwen3-8B
  • Qwen Team. “Qwen3 documentation (Quickstart).” Verified September 2026. Context length as a serving flag (262,144 in the deployment examples). https://qwen.readthedocs.io/en/latest/getting_started/quickstart.html
  • Peng, B., Quesnelle, J., Fan, H., Shippole, E. “YaRN: Efficient Context Window Extension of Large Language Models.” Preprint, arXiv:2309.00071. https://arxiv.org/abs/2309.00071
  • Su, J., Lu, Y., Pan, S., Murtadha, A., Wen, B., Liu, Y. “RoFormer: Enhanced Transformer with Rotary Position Embedding.” Preprint, arXiv:2104.09864. https://arxiv.org/abs/2104.09864