17:如何正确地失败
本研究中最强的对照反复摧毁了更丰富的解释,同时保留了更小的现象。本章明确阐述:在否定一个主张而不抹掉证据仍支持之物时,所需的记账工作。
本书中最危险的结果不是一个充满噪声的结果。
它是最干净的结果之一。
测量 ✓ M = 0.4402
CI [0.419, 0.461]
精度 ✓ MDE80 = 0.0268
对照 +0.15 阈值
实现 ✓ 修正的瞬态干预
已知全局通道已移除
预先声明 ✓ 区域选择对结果盲
阈值冻结
新鲜复现 ✓ 所选区域在独立
匹配零假设实验中得 0.4436
个体化 ✕ 未确立
两个数字来自不同实验。V1 在种子 20260916 上测量原始因果包容。V2 在新种子 20260917 上再生所选区域,原始得分复现为 0.4436,然后提出更强的问题:这些区域是否超过了同一检查点的匹配对照?
我们学会信任的许多保障都满足了。数字大。区间窄。干预正确。区域选择对结果盲。原始现象在新种子上再次出现。
而从强因果包容到因果个体性的推论,仍然没能通过几何匹配对照。
测量是对的。我们以为它意味着什么,是错的。
这值得停留,因为它暴露了程序严谨的限度。
预先声明能阻止我们在看到答案后移动阈值;它不能保证我们选对了阈值、估计量或零假设。精度能告诉我们一个量测得多紧;它不能告诉我们该量是否标识了我们在乎的构念。修正的实现能使实验内部有效;它不能保证有效的实验问的是科学上重要的问题。
因此,在终章追问本研究还剩下什么之前,本章必须明确说出决定什么被允许存活的记账工作。本书在其大部分实验生涯中一直在隐式地做这种记账。现在需要把它说出来。
当一个主张失败时,到底是什么失败了?
失败不是一件事
失败一词压缩了几种情形,而它们许可完全不同的结论。
一次实验可能从未实现它声称检验的对照。一项有效的实验可能太不精确,回答不了自己的问题。一项有效且足够精确的实验可能排除足够大的效应。低层现象可能被干净地测得,而附着其上的更丰富解释在更强对照下崩塌。后续分析可能解释了一些有趣的东西,却不被允许改变验证性检验的状态。
这些不是同一结果的不同程度。它们处于不同的逻辑层。
四个术语承担下面的大部分工作,值得在它们开始负重之前先固定下来。
| 术语 | 含义 |
|---|---|
| 估计量(estimand) | 实验为估计它而构建的具体量 |
| 构念(construct) | 我们希望该量帮助标识的更丰富的理论概念 |
| SEI | 最小感兴趣效应——对该估计量而言算作科学上有意义的预先声明量级 |
| MDE80 | 在冻结分析约定下,80% 功效的达到最小可检效应 |
前两者的鸿沟是本章大部分篇幅所在。估计量是实验能交付的东西。构念是我们决定估计量许可我们说什么的东西。
状态本身处于四个不同层面,混淆这些层面就是记账出错的原因。
| 层面 | 状态 | 含义 |
|---|---|---|
| 实验有效性 | INVALID(无效) | 因干预、实现、操作化或参照对照有缺陷,该实验不能支持其目标估计量 |
| 推断状态 | UNRESOLVED(未解决) | 在所需精度下,声明的问题仍开放 |
| SUPPORTED(成立) | 受检验的主张存活 | |
| BOUNDED(有界) | 以足够精度排除了一个预先声明的效应区域 | |
| 证据角色 | DESCRIPTIVE ONLY(仅描述) | 有信息的后续分析,不改变验证性状态 |
| 主张变迁 | NARROWED(收窄) | 低层结果存活,而更丰富的解释未存活 |
连 BOUNDED 都不是一件事。本书有两个案例用了它的不同形式:BOUNDED NEAR ZERO(零附近有界),即声明的双侧有意义带在零附近被解决;BOUNDED BELOW SEI(SEI 之下有界),即声明的有意义尺度的正效应被排除。两者不可互换。
一个后果立刻得出,并塑造下面的一切。一次实验不接受单一全局状态。方向、量级、机制、构念效度与描述性收尾回答不同的主张,各有各的状态。记账把状态附着于主张,而非实验。
INVALID 也不只是另一种推断状态。无效实验不是对原问题给出了弱答案;它没有正确实例化该问题。而 NARROWED 根本不是统计结论——它描述更强对照保留小主张、移除大主张许可时发生的事。
保持这些范畴分离的理由很简单:
失败的主张、无效的实验与缺席的现象是三件不同的事。
使用这些区分最容易的方法不是背分类表。而是依次问一串问题。
我们运行了声称的实验吗?
《过去能重定向未来吗?》一章意在建立一个干净对照。在 FORCE 下,x 在一次受控因果暴露中出现。在 PREVENT 下,x 在同一暴露中被阻止出现。
第一个实现没有做到。FORCE 插入了 x。PREVENT 只是开始时让 x 为空,这使本应被阻止的细胞在第一次更新中仍可自然附着。
更糟的是,污染概率取决于处理臂。x 的自然 PREVENT 附着在 ACCESSIBLE 下为 0.428,在 REMOTE 下为 0.377,在 ERASED 下为 0.378。隐藏物质状态改变了本应被阻止的事件发生的概率。
因此目标因果对照没有被实现,下游结果为 INVALID(无效)。
关键是该判定在逻辑上先于数值结果。如果坏掉的干预返回大效应,人们会想挽救它。如果它返回零,人们会想报告阴性结果。两者是同一种错误:受影响的估计量从未被正确实例化。
INVALID(无效)
≠
NEGATIVE(阴性)
≠
UNRESOLVED(未解决)
无效结果既不构成支持、也不构成反对它未能检验的主张的证据。写下来显而易见。当无效实验包含你想要的结果时,做到要难得多。
因此,无效之后有生产力的问题不是*结论还能保留吗?*而是:
哪些量在因果上位于缺陷的上游?
在该实验中,即时期望因果响应在被污染的生长步骤之前计算,因此它的值不可能取决于 PREVENT 后来是否允许 x 附着。那个即时量因此在无效中存活。它被单独审计,其负号在干预修复后被复现,并提供了使那个反直觉符号可理解的工作点机制。
下游结果消失。独立的即时结果留下。
这就是正确失败的样子。
实验能回答自己的问题吗?
有效的实验仍可能无法解决它为回答而构建的问题。
早前,在试图从局域几何预测下游因果后果时,一个估计约为 +0.167,95% 置信区间为 [-0.078, +0.431],对照声明的有意义尺度 0.15。
把它报告为反对假设的证据将是直白的误述。区间包含零,但这不是要点。它还包含远超声明有意义尺度的大幅正效应。实验无法区分有意义的正效应、小效应、零与反方向效应。
正确状态是 UNRESOLVED(未解决),而非 FAILED(失败)。
检验不只是看区间是否包含零。更有用的问题是:
数据还与哪些科学上有意义的效应相容?
如果处于或超过预先声明感兴趣尺度的效应仍与观测相容——而达到的精度无法解决该尺度——那么量级问题仍开放。区间是否排除零回答方向问题。是否排除预先声明的效应阈值回答不同的量级问题。
这一区分在《过去能重定向未来吗?》中尤为清楚。修正实验产生 ACCESSIBLE 减 REMOTE 均值 −0.397,95% 区间 [−0.679, −0.119]。
整个区间位于零之下,因此方向问题有答案。效应为负吗?SUPPORTED(成立)。
但冻结的最小感兴趣效应为 ±0.15,达到的单侧 MDE80 约为 0.357。区间还延伸到 −0.119,量级小于声明的 0.15 阈值。因此量级问题——能否确立预先声明的最小值——仍为 UNRESOLVED(未解决)。
这两个陈述相容。
方向
≠
量级
把整体结果称为成立,会把实验未解决的量级拔高。把整体结果称为不确定,会丢掉实验已确立的方向。失败记账的纪律之一就是拒绝两种简化。
我们排除了值得排除的东西吗?
反向错误同样常见:接近零的估计被报告为什么都没发生。
但小的点估计本身说明不了多少。要做出有用的阴性陈述,实验必须定义什么算有意义,并证明有足够精度排除它。最近两项实验以不同方式做到了这一点。
| 耦合/放大 | 模块性超出 | |
|---|---|---|
| 估计 | +0.00130 | −0.0123 |
| 95% CI | [−0.08984, +0.08854] | [−0.0327, +0.0072] |
| 声明阈值 | ±0.15,双侧带 | +0.10,正 SEI |
| MDE80 | ≈ 0.115 | 0.0265 |
| 赢得的状态 | BOUNDED NEAR ZERO(零附近有界) | BOUNDED BELOW SEI(SEI 之下有界) |
在《有限计算能耦合远端事件吗?》中,强候选子抽样与真正穷举评估在动态匹配的背景构建下比较。在十二个更新步上,问题是双侧的:平均后果与穷举评估的差异能否达到至少 0.15(任一方向)?在达到的精度下答案是否定的,因此该结果为声明 ±0.15 尺度下的 BOUNDED NEAR ZERO(零附近有界)。
上一章问了不同问题。所选区域与几何匹配对照比较,科学主张在另一种意义上是方向性的:所选区域是否表现出超出匹配零假设至少 +0.10 的正超出模块性?
置信上界仅为 +0.0072,达到的精度远紧于声明阈值,因此有意义的正超出为 BOUNDED BELOW SEI(SEI 之下有界)。但零附近的方向仍为 UNRESOLVED(未解决),因为区间仍跨过零。
那对实验出现两个不同阈值,差异值得在它看起来像漂移之前说清楚。原始模块性的 SEI 为 +0.15;超出模块性的 SEI 为 +0.10。
它们属于不同估计量。前者冻结了原始包容的最小有意义值。后者引入了新量——超出几何匹配对照的包容——并在看到它的任何结果之前冻结其阈值。新估计量合法地携带自己预先声明的阈值。
不合法的是因为答案不合意而移动已有阈值。两个数字背后都没有理论推导;两者都是声明的操作阈值,其完整性完全来自事先固定。
因此那两项实验赢得了不同的阴性主张,两者都不同于单纯的未能拒绝零。BOUNDED NEAR ZERO 排除双侧带。BOUNDED BELOW SEI 排除单侧区域。不显著什么都没排除。前两者都陈述了一个尺度,这使它们强于证据缺席。
这也解释了精度为何属于状态的一部分。同样的点估计,在一种标准误下可以是 BOUNDED(有界),在另一种下是 UNRESOLVED(未解决)。阴性结果不是没有正点估计1。它是关于实验实际排除了哪些效应尺度的推断。
测量标识了构念吗?
现在是前面检查都抓不住的失败——也是本章存在的原因。
上一章的原始包容测量有效,被测现象真实。在半径四下,内部保持约为 0.776,外部穿透约为 0.335,原始模块性 M 约为 0.440。从所选区域内部发起的扰动,确实比可比外部扰动向内表达的累积因果效应多得多。
数字不是坏干预的产物。它不是效力不足。它不是看过结果后挑选的。它在新种子上再次出现。
失败的是从被测现象到更丰富构念的拔高。分层后更容易看清:
| 层面 | 因果模块性 | 早期群集结果 |
|---|---|---|
| 测量 | 原始模块性 M ≈ 0.44 ✓ |
邻近速度一致性 ✓ |
| 现象 | 强空间因果包容 ✓ | 短程空间运动一致性 ✓ |
| 构念 | 系统特权的因果区域——NOT ESTABLISHED(未确立) | 祖先特异的群集——NOT ESTABLISHED(未确立) |
| 解释 | 个体——NOT ESTABLISHED(未确立) | — |
上层失败不会自动向下传播。包容存活。特权主张不存活。
这是构念效度问题。操作量可以被准确、可重复地测量,同时未能唯一标识附着其上的更丰富理论构念。经典构念效度文献的更广泛论点是:构念不是靠一次成功关联确证的。它通过与其他可观测量的关系、通过包围它的理论预测网络获得意义。2
统计严谨可以使估计极精确。它本身不能确证从估计到更丰富概念的拔高。
这里反复学到的该教训的实验版本是:
在能够产生同样测量的更简单机制被控制之前,不要把测量拔高为更丰富的构念。
看看反复出现的模式:
一致运动 → 群集
空位被重填 → 修复
实验写入的持久隐藏状态 → 记忆
被保持的因果影响 → 个体
每种情况都测到了真实的东西。每种情况的拔高都强于证据。而暴露错配的通常不是更好的统计量。是更好的替代解释。
零假设是主张的一部分
上一章比任何早先例子都更锐利地说明了这一点。在几何匹配对照之前,有效推论实际上是:大的原始因果模块性蕴含特权区域。
该推论中缺失的对象是零假设。同样的统计量在具有可比空间与界面几何的其他区域中会有多大?
对照建成后,所选区域得 M ≈ 0.444,匹配对照为 M ≈ 0.456,超出约 −0.012。原始测量没有消失。它的解释变了。
因此零假设不只是结果之后附加的仪式计算。它是结果被允许意味着什么的一部分。
在产生该测量的合理替代生成器被控制之前,测量还不是对更丰富构念的证据。
该模式在他处已可见。纳入普通结构化区域后,预测一致性减弱。均衡复制数量后,物质放置减弱。匹配距离后,祖先特异群集减弱。
实验不同,记账相同:现象存活,拔高收窄。
只否定最小的主张
这一切坍缩为一条操作原则:
只否定证据真正击败的最小主张。保留仍然存活的一切。
它排除两种相反的病态。一是过度拯救:丰富主张减弱,于是语言不断变化,直到剩下的东西被呈现为我们一开始的意思。那摧毁预测与回顾解释之间的区分。
二是过度摧毁:丰富主张失败,于是与之相关的一切都被扔掉——包括更强对照从未击败的测量与机制。那感觉更严格。它并不更科学。只是浪费。
回应应当是精确手术式的:
| 缺陷 | 正确回应 |
|---|---|
| 实现无效 | 仅使受影响的估计量无效 |
| 精度不足 | 让声明的问题保持未解决 |
| 有意义效应区域被排除 | 记录相应的有界结果 |
| 更强对照击败更丰富解释 | 收窄主张 |
| 低层现象仍然有效 | 保留它 |
| 后续分析解释或情境化 | 标为描述性 |
用于本章三个工作案例:
| 实验 | 什么消失 | 什么留下 |
|---|---|---|
| 因果模块性 | 个体 | 因果包容 |
| 《过去能重定向未来吗?》 | 无效的 V1 下游推论 | 有效的即时隐藏状态敏感性 |
| 群集 | 祖先特异群集 | 短程运动一致性 |
这不是修辞上的温和。这是证据会计。
描述不是证实
有一类值得单独注意,因为它最诱人。
修正的隐藏状态实验以负方向 SUPPORTED(成立)、预先声明的最小量级 **UNRESOLVED(未解决)**收尾。然后我们检查了效应如何随时间累积,收尾很惊人。最终累积差异中约 75% 在写入物质痕迹衰减到起始质量一半以下之后累积,约 36% 在衰减到四分之一以下之后累积。
该时间模式启发了一个合理的解释。早期隐藏状态调制改变事件;事件改变后期状态;后期分歧因此部分取决于轨迹,也取决于残留物质。
那很有意思。它也是 DESCRIPTIVE(描述性)。
收尾不是冻结的验证性终点。它没有分离中介路径。其合并的组—滞后诊断不是独立的验证性观测。它不能把未解决的最小量级主张升级为成立。
解释可以照亮结果而不拯救它。把分析称为 DESCRIPTIVE 因此不是轻视——它记录证据如何获得,以及它被允许做什么推断工作。
DESCRIPTIVE 不是 UNIMPORTANT,DESCRIPTIVE 也不是 CONFIRMATORY。两个区分都重要。
修正不是拯救
如果无效实验必须修复重跑,那么重跑实验不可能自动就是作弊。区分在于什么变了。
修正的隐藏状态实验修复了 PREVENT 语义,修复了被污染的 REMOTE 比较器,并在修正实验前冻结了滞后期望局域因果差估计量。它保持科学参数固定——物质增益、半衰期、历史年龄、时域、效应阈值。
科学问题保持可辨认。仪器变了,因为原仪器没有正确实现该问题。
计算耦合实验有类似修正。只控制多滞后过程开端的校准方案,被替换为动态控制轨迹的方案。同样,修复针对仪器。它没有把科学参数调到出现想要的效应为止。
区分是:
| 动作 | 它做什么 |
|---|---|
| 修正性实验 | 修复干预、实现、操作化、估计量或参照对照中的缺陷,同时保留声明的科学问题 |
| 新实验 | 问实质不同的问题,并在解释结果之前声明该变化 |
| 拯救 | 因原答案不合意而改变估计量、阈值、参数区间或解释,同时把新结果呈现为回答了老问题 |
前两者是合法的科学动作。第三者危险,因为它让问题不可见地变异。
知道何时停止
主张减弱之后,总有另一个变体可用。另一个半径,另一个特征,另一个预算,另一个历史窗口,另一个匹配规则,另一个解码器,另一个时域。
搜索空间没有自然终点。这使停止成为科学行动。
几章到达了这样的点:在同一搜索中继续只会把失望变成参数狩猎。
物质放置实验在反复对照压垮其更丰富解释后放弃了一整条线,而不是继续到某个次级指标好看为止。边界实验在几何零假设削弱主张后没有重调半径。因果增益工作在局域预测程序不再赚取信息时停止添加局域预测器,转而改变测量。上一章改变的是零假设,而不是把模块统计量改到所选区域获胜为止。
浮现的停止规则是:
当声明的问题已被回答,停止。除非你愿意声明一个真正的新实验,否则不要把失望变成参数搜索。
配套规则来自早先一个差约 0.00002 未达的平稳性阈值。科学上微小。程序上决定性。
在答案不合意时移动的阈值不是阈值。
当差距极微小时,这可能感觉荒谬地僵硬。但冻结边界有用,正因为它阻止我们在看到数字后决定这次差距算不算数。正确回应不是假装 0.00002 在生物学上重要。而是报告近似未达并保持规则完整。
审计记账
写在散文里的规则很便宜。问题是项目是否真照做了。
于是最近的实验链被编码为可执行的失败台账。本章不引入另一个数字晶体模拟;它的实验对象是证据历史本身。
三个近期实验链——有限选择器放大、隐藏状态因果响应、因果模块性与个体化——注册了十个案例,每个注册案例都追溯到源制品。
注册案例 10
有源支持案例 10
仅手写证据 0
缺失必需源 0
每个条目记录受检验主张、实验有效性、推断状态、变迁类型、证据角色、适用阈值、适用达到精度,以及什么证据存活。
审计随后检查禁止的动作。INVALID 实验是否曾成为反对假设的证据?UNRESOLVED 是否悄悄变成 FAILED?有界结果是否缺声明阈值或足够精度?更强对照是否抹掉了有效的低层证据?描述性收尾是否升级了验证性主张?实质改变的估计量是否伪装成原估计量?
全部十个注册案例通过记账规则。还声明了五个跨案例检查,五项全部通过:
| 检查 | 所需记账 | 结果 |
|---|---|---|
| 无效隐藏状态主实验 | 保留独立的即时结果 | PASS(通过) |
| 方向 vs 量级 | 保持两种状态分离 | PASS(通过) |
| 更强空间零假设 | 收窄构念,保留原始包容 | PASS(通过) |
| 有界放大 | 保留机制路由结果 | PASS(通过) |
| 描述性收尾 | 不拯救量级主张 | PASS(通过) |
失败台账记账因此一致。
每个注册案例都追溯到项目一级制品——生成的报告、结构化结果文件与分析输出——而不是散文回忆。只能从记录散文举证的案例会被记为仅手写证据;没有。完整的机器可读台账与制品审计随本章研究输出保留,上表给出对这里论证要紧的跨案例检查。
该状态是窄的。台账不认证结论之真,不认证分类完备,不认证底层案例记录完备,也不认证没有错误。它检查一件事:注册的证据变迁是否在没有悄悄改变逻辑状态的情况下被结转。
书中证据台账出现的其他标签也说一句。
NOT ESTABLISHED、NOT CLAIMED 与 UNTESTED 是范围标记而非推断结果——记录主张从未被推进到哪里,而非实验结果如何。ASSERTION 与 IDENTITY 指实现正确性或代码的代数性质,而非经验总体发现。把它们与 SUPPORTED、UNRESOLVED、BOUNDED 分开是同一种纪律的一部分。
在三条注册案例链——有限选择器放大、隐藏状态因果响应、因果模块性——中,记录的无效、未解决问题、有界结果、描述性收尾与主张收窄,可以在不把一种证据类悄悄转为另一种、不删除存活证据的情况下表示出来。
这就够了。如果存活标准每次在结果不合意时都变,由"存活之物"建起的终章将毫无意义。
台账不认证结论。它认证承载结论所用的记账。
那些失败发现了什么
这里是使本章不只是道歉的部分。
失败有生产力。不是在"每次挫折都教我们东西"的安慰意义上,而是因为每次都迫使区分先前被允许混在一起的概念。
相似
≠
因果祖先
可见状态
≠
完备因果状态
因果状态差异
≠
过去的可读记录
持久
≠
局域可及
可及
≠
被差异使用
净总体变化
≠
总构建与损失
重占据
≠
修复
稳定的总体规模
≠
无周转
局域性
≠
特权边界
因果效应
≠
下游后果的稳定局域预测器
因果路由
≠
因果放大
隐藏状态条件
≠
记录读取
因果包容
≠
因果个体化
多数区分不在我们出发的词汇里。它们在更丰富解释遇到留下小现象的对照时变得必要。
一次失败的拔高是一次成功的区分。
这可能是读本研究最有用的方式。我们反复用生物学词汇提问,对照不断把答案压进更窄的计算术语。
| 我们问 | 存活的是 |
|---|---|
| 群集? | 短程运动一致性 |
| 记忆? | 隐藏状态因果敏感性 |
| 修复? | 空位后的快速重占据 |
| 稳定的体规模? | 有大幅周转的计算约束尺度 |
| 个体? | 强空间因果包容 |
右列不是安慰奖名单。它们是在更强的名字不再可辩护后剩下的测量。方法的工作从不是保留生物学词汇。而是发现该词汇何时不再赚回它的位置。
而诱惑从不是抽象的。持久的痕迹真的 beg 被称为记忆。填上的洞真的像愈合。大致稳定的总体真的像被维持的身体。0.44 的模块得分真的像个体。
更丰富的词不是愚蠢的假设。它们是假设。错误本应是当对照说不时拒绝放弃它们。
存活的是什么
许多更强生物学或类生物体拔高现已被移除、有界、收窄或未确立。其中:
祖先特异 flocking
可读记忆
修复
稳定的类生物体体规模
特权身体边界
因果放大
因果个体性
它们的科学状态并不相同。有的未通过具体对照。有的从未被确立。有的在声明量级上未解决。有的被更窄描述取代。
它们唯一的共同点是:没有一个以测量最初提示的更丰富形式存活。
剩下的不是零。而是经实现审计、匹配零假设、精度门与失败解释后存活的现象清单:
无显式繁殖算子的因果繁殖
短程运动一致性
从完备保存状态的反事实延续
可调制因果响应的隐藏状态
而无证据表明它是可读记录
持久物质状态保持因果活性
同时局域可及
损失生成的构建界面
与快速重占据
藏在小得多的净总体变化之下的
大额总周转
被有限计算机会强烈约束的
过程尺度
远端区域之间的选择器介导耦合
对实验写入隐藏状态的因果敏感性,
轨迹重定向仍为描述性解释
强空间因果包容
那些不是失败实验后剩下的碎片。它们是研究的实证内容。它们存活,因为对照没有移除它们,而且它们越来越多地用基质的词汇而非生物学的词汇到来。
这改变了问题。*我们能复现生命的哪些特征?*原来是组织本研究越来越差的原则。不是因为生物学问题无用——它们极富生产力,给了我们锋利到能失败的假设。但它们反复鼓励我们在发现基质本身在做什么之前先命名现象。
因此终章必须从幸存者出发,而不是从我们希望找回的名字出发。不是*下一个生物学性质是什么?*而是:
这些计算现象加起来是什么?