跳至正文

复制危机 / 统计显著性的滥用大体检

目录

一句话裁决：p 值能用好几种身份念——一个定义清楚的条件概率、一条 Fisher 的拇指规则、一张「真发现证书」——但最硬的那个身份（零假设下的尾概率）回答的问题最窄（它既不告诉你假设为真的概率，也不告诉你结果能否复制），最威风的那个身份（p<0.05 即真理）最没根据。复制危机真正暴露的，不是「统计算错了」，而是「把一个窄问题的答案，当成了宽问题的答案」——这与 δ1 可证伪篇里「把一个有适用域的启发式，抬成无条件的划界法律」，是同一种病的统计版。而最锋利的一刀在于：连「p<0.05」这条线本身，都是两套互不相容的统计哲学（Fisher 的证据 vs Neyman-Pearson 的错误率）被教科书缝合出来的、谁也不认的私生子。

〇　母裁决：五层硬度光谱 ＋ 去重声明

「这个结果 p<0.05，所以是真的」「这项研究没复制出来，所以原来那篇是错的（甚至造假）」——这是科普、同行评议、政策辩论里最高频的两组推断。问题不在统计——作为一套受控工具，显著性检验很有用；问题在于它从最硬的数学事实一路滑到最空的万能判决键，中间隔着四五道再也回不去的坎。本篇把这条滑坡切成五层，硬度递减、宏大递增。

层级 在说什么 机制裁决
① p 值的数学定义 p ＝「给定指定模型／零假设为真，得到与观测一样极端或更极端的统计量的概率」（Fisher 1925 的尾概率） 条件硬·但只在模型为真时硬：定义是演绎的、唯一确定的；但 p 的「硬」是 conditional on the model——抽样机制、点零假设、检验统计量的零分布三层假设一旦不成立，p 算得正确却指向虚假精度。裂缝预告命门二。注意：p 不是「假设为真的概率」、不是效应大小、不是可复制概率——这三句否定属层三，此处只立 p 是什么
② 0.05 阈值与显著性判定 用一条线（p<0.05）把结果二分为「显著／不显著」 中·是约定非自然常数：Fisher 自己说 0.05 只是「convenient」、可自由另取。⚠ 方向标注桩：0.05 这个数字底下压着两套互斥哲学——Fisher 的事后证据 p 与 Neyman-Pearson 的事前错误率 α——被缝在一起；本层只裁「0.05 是约定」，缝合处的解剖是脊柱命门〇的主场
③ 「显著＝真／重要／可复制」的误读 把窄的 p 当成后验概率、当成效应大小、当成下次能复制的保证 软·被打穿：p 不是「假设为真的概率」（要算它得有基率，Cohen 1994 的 inverse probability）；低基率＋低功效让多数「显著」是假阳性（Ioannidis 2005 PPV）；过阈值＋低功效让效应量系统性膨胀（winner’s curse／Type M）
④ 复制危机的实证规模与归因 「大半研究复制不出来，所以这个领域（或整个科学）破产了」 有争议·分层：复制率确因领域而异（心理学约 36% 到经济学约 62%）；但复制失败 ≠ 原研究全错——它有至少五条并立成因，连危机方自己都说「乐观与悲观结论都还不成立」。命门二主场
⑤ 制度改革与自指 用预注册／降阈值／弃用显著性「修好」科学；用复制率给科学打分 软·开放＋红线：没有银弹，改革派自己三分五裂；把「复制率」或「p<0.005」当成新的硬法律，是同一种病的复发；而我们自己全线挥着「显著／稳健／效应」这些词——体检这把尺，就是体检我们举尺的手

灵魂句：统计显著性能用好几种身份念——尾概率（Fisher）、长期错误率（Neyman-Pearson）、真发现证书（教科书）、科学健康度指标（复制运动）——但最硬的那个身份（零假设下的尾概率）回答的问题最窄，最宏大的那个身份（复制率＝科学的体温计）最靠不住；而它真正咬得住的，永远只是「在一个模型为真的前提下，这批数据有多不像零假设」，咬不到「这个假设是不是真的」「这个效应能不能复制」「这门学科健不健康」——更咬不到举着它的那只手。

与旧篇的去重声明（本篇成败前提，已 Read 旧篇坐实行号）

本库 55＋ 篇里，「p 值／显著性／贝叶斯／复制」散落在因果篇、概率贝叶斯篇、测量代理篇等多处，但没有一篇正面解剖「统计显著性」这把全线推断尺本身。本篇是第一篇把它拉上被告席的。五条边界：

  • 让位：频率派 vs 贝叶斯的概率论地基之争（谁配得上客观性、先验从哪来、严重检验作为频率派的哲学辩护）已在概率贝叶斯篇（06-22 §4.7／§十）做透。本篇让位地基，只接手统计技术层——p 值的数学定义、Fisher 的归纳推断与 Neyman-Pearson 的归纳行为之争、0.05 的缝合史、PPV——这些概率贝叶斯篇一行未碰（该篇行 318 的 Mayo 只挂「为频率主义假设检验（Neyman-Pearson）提供哲学基础」，无 Fisher 之争、无 p 值定义）。两篇的缝：地基哲学 vs 检验技术。[理论整合]
  • 复用承重墙：Mayo 的「严重检验（severe testing）」已在 δ1（06-24 第五幕）与概率贝叶斯篇立。本篇直接复用，但独占角度是 δ1 没展开的那一截——Mayo 作为「弃用显著性」论战的反方，以及她区分「被批判的 NHST 私生子」与「合法的 Fisher／Neyman-Pearson 检验」。与那两篇的「Mayo 兑现 Popper」角度正交。[理论整合]
  • 收编（借一颗螺丝）：Goodhart 三病消歧、Manheim-Garrabrant 四分类已在测量代理篇（06-22 §一／§二）做透。本篇只借一个实例——该篇行 76 已点名「发表数量作为科研质量代理（接 δ2 复制危机）」——把「复制率／发表数当科研代理 → Goodhart 病」接进第六节自指落点，不重做三病框架与四分类（点接一句）。[理论整合]
  • 升格（不是首次）：⚠ Ioannidis 2005《Why Most Published Research Findings Are False》已在因果篇（06-12 行 288）出场，但只作一句「RCT 不豁免于不可复现」的点接（仅引「小研究更不可能真」）。本篇命门一收编并升格——把它从一句话展开成完整 PPV 推导。因果篇用它证「RCT 不特殊」，本篇用它证「p<0.05 的阳性预测值远低于 95%」：同一文献，两个承重方向。[我们的断言]
  • 点接：归纳／无免费午餐（统计自由度＝无先验偏置则无泛化，归纳篇 06-23）；安慰剂篇（06-23）的 Hróbjartsson-Gøtzsche 发表偏倚与效应量当案例引；因果篇的识别假设／RCT 局限点接。[理论整合]

体例承袭：本篇是延伸候选池组 δ（元科学／科学哲学）第二篇、δ1 可证伪篇的姊妹兑现篇（δ1 索引明写「Mayo severe testing 正接着复制危机 δ2」）、「机制裁决红队风」第二十一篇、「对称双向红队」第十六篇。母裁决五层切法、NHST 缝合史叙事、概念消歧表是本篇的整合脚手架，非单篇首创——见第八节作者声明。承袭 δ1「在某一层显式标注切换」的手法（母裁决②层标注「这一层底下是缝合处」）。

一、承重墙·概念家族消歧表：先把八个词钉死

滥用统计显著性的语法发动机，是把八个长得像、其实管着不同方向的量炖成一锅「这个结果显不显著」。进战场前先清场——其中头号靶是 p 值与 α 的方向混淆。[理论整合／多源交叉]

术语 谁的词／框架 精确定义（一句话） 最常被混进「显著」的滑点
p 值 p-value Fisher（事后·连续·单次实验） 给定指定模型／零假设为真，得到与观测一样或更极端统计量的概率（ASA 原则 1） 当成「假设为真的概率」——错（ASA 原则 2）；当成「效应大小／重要性」——错（ASA 原则 5）
显著性水平 α Neyman-Pearson（事前·长期·决策规则） 事前设定的第一类错误率，长期里允许多大比例的假阳性 与 p 值当一回事——正是 null ritual 的核心错：p 是数据算出的连续证据量，α 是决策前定死的长期错误率，二者被缝成「p<α 就拒绝」
统计功效 power（1−β） Neyman-Pearson 当效应真实存在时，检验把它检出（拒绝零假设）的概率 被忽略——复制危机的核心盲点：神经科学的中位功效估计仅约 21%（Button 2013）
效应量 effect size 通用（Cohen’s d 等） 效应的大小／强度，与「是否显著」正交 与「显著」混为一谈——大样本下任意非零微小效应都会显著，显著 ≠ 重要
置信区间 CI Neyman（频率派） 由一套程序产生的区间，该程序长期里有 95% 的覆盖率 被误读为「这条区间有 95% 概率含真值」——错（Morey 2016「基本置信谬误」）：单条已观测区间含或不含，概率是 0 或 1
可复现 reproducibility NASEM 2019（计算层） 用同一份数据＋同一套代码／分析重算得到同结果 与「可重复」混用——两件不同的事
可重复 replicability NASEM 2019（经验层） 针对同一科学问题、各自独立收集新数据的多项研究间得到一致结果 与「可复现」混用——复制危机讲的主要是后者
假发现率 FDR / 阳性预测值 PPV Benjamini-Hochberg 1995／诊断推断 FDR＝被拒零假设中假阳性的期望比例；PPV＝「显著」结果中真为真的比例，依赖基率 把单次 α=0.05 当成「只有 5% 会错」——多重比较下要控的是 FDR；而 PPV 在低基率领域可远低于 95%

消歧杀手句：这八个量都关于「数据、假设与误差」，但各自管着不同方向——p 值（事后证据，Fisher）／α（事前错误率，Neyman-Pearson）／功效（检出真效应的能力）／效应量（多大，与显著正交）／CI（程序的长期覆盖，非单区间概率）／可复现 vs 可重复（重算 vs 重收数据）／FDR 与 PPV（一堆检验里、或一个领域里的假阳性比例）。把它们炖成「显不显著」，就同时犯了三个错：把 Fisher 的证据 p 和 Neyman-Pearson 的决策 α 当同一个东西（这是下一节脊柱要解剖的私生子）、把「检出真效应的能力」（功效）丢掉、把「这批数据有多像零假设」（p）偷换成「这个假设有多可能为真」（PPV／后验）。 柱子钉死，后面三道命门才有靶子可打。

关键来源：p 值定义与「不是什么」见 ASA 2016 声明六原则（Wasserstein & Lazar，本人核官方 PDF 逐字）；reproducibility vs replicability 见 NASEM 2019《Reproducibility and Replicability in Science》 结论 3-1（本人核报告 PDF 逐字）；CI 误读见 Morey et al. 2016；FDR 见 Benjamini & Hochberg 1995。

二、层①②：p 值硬到什么程度、0.05 约定到什么程度

层① p 值是条件硬地板，但只在模型为真时硬

p 值的定义是一个演绎事实：给定指定模型（含零假设）为真，「得到与观测一样极端或更极端的检验统计量」的概率是唯一确定的。ASA 2016 的官方定义（本人核 PDF 逐字）：

“Informally, a p-value is the probability under a specified statistical model that a statistical summary of the data … would be equal to or more extreme than its observed value.”（ASA 2016）

这个定义是硬的、无人能驳。但它的「硬」被锁在一个前提上：那个「指定的统计模型」为真。 p 的硬度是 conditional on the model——它依赖三层假设全部成立：随机抽样／数据生成机制如设定、零假设的精确形式（通常是「效应恰为零」这个点零假设）、检验统计量的零分布（常依赖正态性、独立性、方差齐性或大样本渐近）。任何一层错，算出来的 p 就不是它声称的那个尾概率。母裁决的硬层判词必须自带这道裂缝，否则母裁决自己就先犯了它要打击的「把有适用域的真说成无条件的真」的病（承 δ1 层①「真但只锁孤立全称命题」、熵篇「Boltzmann 同物误降同形」的纪律）。这道裂缝直接喂给命门二——「分析决策依赖数据」时，连「零假设为真时 p 均匀分布」这条最底层性质都会塌（命门二的 garden of forking paths）。[文献较稳·本人亲核]

层② 0.05 是约定，不是自然常数——而且它底下是个缝合处

把 p<0.05 当显著，是 Fisher 立的一条方便线，不是自然常数。Fisher 1925《Statistical Methods for Research Workers》§12（本人 WebFetch York 档案逐字复核，注意是「is to be」不是流行误引的「ought to be」）：

“The value for which P = .05 … is 1.96 or nearly 2; it is convenient to take this point as a limit in judging whether a deviation is to be considered significant or not.“（Fisher 1925, p.47，本人亲核）

而 Fisher 1926《The arrangement of field experiments》把这条线的可替换性说得更直白：

“If one in twenty does not seem high enough odds, we may, if we prefer it, draw the line at one in fifty (the 2 per cent point), or one in a hundred (the 1 per cent point).”（Fisher 1926）

0.05 从诞生第一天起就是个可自由另取的方便点，不是真理的门槛。 但这一层还藏着一个更深的裂缝：「p<0.05 就拒绝」这个动作里，p 和 0.05（α）其实来自两套互不相容的统计哲学——p 是 Fisher 的事后连续证据，0.05 当成 α 则是 Neyman-Pearson 的事前长期错误率。把它们叠在「显著性判定」这一层，恰恰是本篇要在脊柱处解剖的那个缝合谬误。本层只裁「0.05 是约定」；缝合处的解剖，交给命门〇。这一层是第八节红队 B 端要守的：0.05 的任意性不容被夸成「统计检验毫无意义」——在受控场景里，一条事前定死的判定线仍是有用的（红队 B）。[文献较稳·本人亲核]

三、命门〇·NHST 缝合史：p<0.05 是两套哲学缝出来的私生子（脊柱）

这是本篇最锋利、也最该独立成立的一刀。没有它，「p<0.05 被滥用」会显得像统计系内部的吹毛求疵；有了它，滥用的精确位置一目了然——今天机械套用「p<0.05 即显著」的人，用的根本不是 Fisher 的 p、也不是 Neyman-Pearson 的 α，而是一个被教科书缝出来、连两位创始人都会拒绝的杂种。 全库 55＋ 篇里「NHST／null ritual／Gigerenzer」零命中，这是真空地。

把「显著性检验」当成一个统一理论，是教科书制造的幻觉。它其实是两套哲学被强行缝合的产物。

第一套·Fisher 的显著性检验（归纳推断 inductive inference）：算出一个连续的 p 值，作为这批数据对零假设的证据强度；p 越小，证据越强。它针对单次实验，不预设备择假设，不谈功效，结论是临时的、可修正的。

第二套·Neyman-Pearson 的假设检验（归纳行为 inductive behavior）：事前设定两个（或多个）假设、第一类错误率 α 与第二类错误率 β，给出一条决策规则；目的不是衡量单次证据，而是保证长期里「不太经常出错」。Neyman-Pearson 1933 说得极清楚（文献较稳，付费墙未达一手 PDF，两二手源措辞一致）：

“no test based upon the theory of probability can by itself provide any valuable evidence of the truth or falsehood of that hypothesis. But … we may search for rules to govern our behaviour … in following which we insure that, in the long run of experience, we shall not be too often wrong.”（Neyman-Pearson 1933）

两人公开决裂。 Fisher 1955《Statistical Methods and Scientific Induction》把 Neyman-Pearson 的决策框架斥为工业验收程序、甚至搬出苏联五年计划讽刺（逐字经可靠二手转录，标页码）：在验收程序里「acceptance is irreversible, whether the evidence for it was strong or weak … no thought is given to the particular case」；而科学工作者的结论是「provisional, and involve an intelligent attempt to understand」。Fisher 把「inductive behaviour」列为他最反感的 Neyman-Pearson 三个短语之一。

第三幕·教科书把两者缝成一个杂种。 1940–60 年代的统计教科书把 Fisher 的 p 值和 Neyman-Pearson 的 α、β 焊在一起，教出一套「立零假设 → 用 0.05 拒绝 → 宣布显著」的机械流程。Gigerenzer 2004《Mindless Statistics》给它起名「null ritual（零仪式）」，并 pdftotext 亲核逐字定义其三步：

  1. Set up a statistical null hypothesis … Don’t specify the predictions of your research hypothesis or of any alternative … hypotheses.
  2. Use 5% as a convention for rejecting the null …
  3. Always perform this procedure.（Gigerenzer 2004, p.588-589，本人据 agent 一手 pdftotext 采信）

核心判词（p.590，逐字）：

“It was created as an inconsistent hybrid of two competing theories: Fisher’s null hypothesis testing and Neyman and Pearson’s decision theory.“

Gigerenzer 还给这场冲突一个极上镜的弗洛伊德隐喻（§6）：Neyman-Pearson 是要求事前指定一切的超我（superego），Fisher 是「先把论文发出去」的自我（ego），贝叶斯是被两者审查掉的本我（id）——而 null ritual 正是超我与自我打架时挤出来的强迫症仪式。

这一刀最毒的地方：两个创始阵营都会拒绝这个私生子。 Gigerenzer 逐字坐实——

“Fisher … toward the end of his life, Fisher (1955, 1956) rejected each of its three steps. … by 1956, Fisher thought that using a routine 5% level of significance indicated lack of statistical sophistication. No respectable researcher would use a constant level.” “Neyman and Pearson would have also rejected the null ritual … they … favored competitive testing between two or more statistical hypotheses … ‘hypotheses’ is in the plural, enabling researchers to determine the Type-II error (which is not part of the null ritual).”

Fisher 反对机械的 5%、主张报告确切 p 并结合判断；Neyman-Pearson 要求明确的备择假设和功效，而 null ritual 根本不设备择、不算功效。Fisher 1956 的话被 Gigerenzer 用作卷首格言：

“no scientific worker has a fixed level of significance at which … he rejects hypotheses; he rather gives his mind to each particular case in the light of his evidence and his ideas.”（Fisher 1956）

B 端安全垫（防虚无，留给第八节红队展开）：别把这场之争讲成「完全不可通约」。 Lehmann 1993《One Theory or Two?》（本人据 agent 一手 pdftotext 采信）论证两套理论「despite basic philosophical differences, in their main practical aspects … are complementary rather than contradictory」，并给出一个可统一的框架。Lehmann 同时替本篇背书了「两位创始人都只给标准显著性水平冷淡支持」：「Both Neyman-Pearson and Fisher would give at most lukewarm support to standard significance levels such as 5% or 1%.」所以脊柱的收口是：哲学层的分歧真实（证据 vs 行为不可通约），技术层可部分综合（Lehmann 已做）；而 null ritual 恰恰是把两套理论最坏的部分机械拼接，连 Lehmann 的善意综合都不沾。[一手逐字＋文献较稳]

这条史本身就是一把刀：举着「p<0.05 即显著」当终审判决的人，用的是一个 Fisher 会嫌外行、Neyman-Pearson 会嫌没有备择假设、连善意的综合派都不认领的缝合怪。「0.05 的任意性」不是某个人选错了数，是「靠单一阈值二分」这件事从一出生就站在两套哲学的裂缝上。

四、命门一·p 不是「假设为真的概率」：base rate、PPV 与 winner’s curse

层①说 p 是条件硬的。但滥用的数学核心，是把「给定假设为真、数据有多极端」偷换成「给定数据、假设有多可能为真」——一个条件概率的方向被反转。这是统计层最锋利的一刀。

方向反转：p 是 P(数据｜H₀)，不是 P(H₀｜数据)

Cohen 1994《The Earth Is Round (p < .05)》把这个反转点名为「逆概率（inverse probability）」（本人据 agent 一手 pdftotext 采信）：

“When one tests H₀, one is finding the probability that the data (D) could have arisen if H₀ were true, P(D｜H₀). … Now, what really is at issue … is the probability that H₀ is true, given the data, P(H₀｜D), the inverse probability. But that is the posterior probability, available only through Bayes’s theorem, for which one needs to know P(H₀) … the ‘prior’ probability.”（Cohen 1994, p.998）

要从 p 走到「假设为真的概率」，必须知道基率（base rate）——这个领域里真效应占被检验假设的比例。没有基率，p 值对「假设是否为真」什么也没说。

PPV：把基率算进去，多数「显著」可能是假的

Ioannidis 2005《Why Most Published Research Findings Are False》把这一步形式化（本人 WebFetch PLoS 原文复核公式）。设 R 为某领域「真关系」与「无关系」之比，阳性预测值：

「PPV ＝(1 − β)R /(R − βR + α)」，且「A research finding is thus more likely true than false if (1 − β)R > α」。（Ioannidis 2005，本人亲核）

含义：在低基率领域（R 小）＋低功效（1−β 小），即便结果「显著」，它为真的概率也可能远低于直觉。Ioannidis 由此推出六条推论（逐字核准），其中第一条正是因果篇引过、本篇升格展开的那句：

“Corollary 1: The smaller the studies conducted in a scientific field, the less likely the research findings are to be true.”（Ioannidis 2005）

标题主张是一个推演结论、不是实测断言——「It can be proven that most claimed research findings are false」。这一点对第八节红队 B 端至关重要：它说的是「在这些假设下，多数会是假的」，不是「实测发现大半是假的」。[一手逐字·本人＋agent亲核]

动态升级：为什么低功效研究系统性地不可复制（winner’s curse／Type M）

PPV 是个静态横截面。把它动态化，就预演了命门二的一半。Gelman & Carlin 2014 提出两类被功效计算忽略的错误（本人据 agent 一手 pdftotext 采信）：

  • Type S（sign）error：显著估计的符号与真效应相反的概率；
  • Type M（magnitude）error／exaggeration ratio：显著估计的量级相对真效应被夸大的倍数。

招牌数字：当功效低到 0.06 时，Type S 错误率约 24%、夸大倍数约 9.7 倍（即显著结果平均把真效应夸大近一个数量级，且四分之一情况连方向都反）；功效 0.8 时夸大才降到约 1.12 倍。Gelman-Carlin 给的经验法则：「Problems with the exaggeration ratio start to arise when power is less than 0.5」。

这就是 Button 2013 说的赢家诅咒（winner’s curse）：「the ‘lucky’ scientist who makes a discovery is cursed by finding an inflated estimate」——因为只有那些碰巧高估了效应的小样本研究才越过显著线被发表。其复制语境后果是 Button 命名的 Proteus 现象：首篇最偏向极端，后续复制趋于回归真值、显得「失败」。Ioannidis 2008 进一步给出理论证明：「when true discovery is claimed based on crossing a threshold of statistical significance and the discovery study is underpowered, the observed effects are expected to be inflated」。

落点：低功效研究即便逮到了真效应，报上来的也是个被夸大的版本；下一次复制必然向真值回归，看起来像「没复制出来」。所以一部分「复制失败」根本不需要原研究造假、甚至不需要原效应为假——它是低功效＋发表门槛的数学必然。 这把命门一交到命门二手上。（诚实限定：Type M 不是「把观测效应除以固定倍数」的机械修正，Gelman-Carlin 本人反对这种误用——单项研究的实际膨胀可大幅偏离均值。）[一手逐字·本人＋agent亲核]

五、命门二·复制失败到底证明了什么：多重归因、forking paths 与解读战

头儿要这道命门深做，且要对称——既不能虚无化（「复制失败＝原研究全错／科学破产」），也不能粉饰（「复制危机被夸大、其实没事」）。

复制失败有至少五条并立成因

一项研究复制不出来，可以是下面任意一条或几条，而不必是「原结论一定是假的」：

  1. 原研究是假阳性（低功效＋发表偏倚的产物）——命门一已证；
  2. p-hacking／研究者自由度：Simmons-Nelson-Simonsohn 2011《False-Positive Psychology》命名「researcher degrees of freedom」（本人据 agent 一手 pdftotext 采信）——「In the course of collecting and analyzing data, researchers have many decisions to make」，且「This exploratory behavior is not the by-product of malicious intent」；
  3. HARKing（Kerr 1998）：把事后假设当事前假设报告；
  4. 真实的情境异质性：复制未必在同条件下做，moderator 不同导致效应不同（Van Bavel 2016 证情境敏感度越高越难复制）——这也是 Gilbert「保真度」批评的合理内核；
  5. 复制研究本身也是会犯错的统计推断：复制有自己的功效与抽样误差，单个「失败」同样可能是假阴性。这是命门二最独家、最毒的一刀——连复制研究自己都受 NHST 同病支配。

forking paths：连真诚的单次分析也能产出失效的 p 值

复制失败里最被误解的一块，是 Gelman & Loken 的「分岔小径花园（garden of forking paths）」——它和 p-hacking 不是一回事，这个区分本身就值一段（本人据 agent 一手 pdftotext 采信）。论文标题即论点：

“Why multiple comparisons can be a problem, even when there is no ‘fishing expedition’ or ‘p-hacking’ and the research hypothesis was posited ahead of time.“（Gelman-Loken 2013/2014）

要害：即使研究者只做一次分析、假设事先定好、真诚无意作弊，只要分析决策依赖于数据（「contingent on the data」），潜在的多重比较就已经使 p 值失效——因为「给定不同的数据，本会做一个不同的检验」。p-hacking 是有意识地试很多分析挑显著的（论文里的 #4「fishing」）；forking paths 是无意识的 #3。

这一块是命门二的主梁，也是 B 端防虚无的弹药：它证明「复制失败既不需要造假、也不需要主动 p-hacking」——把每个复制失败都读成「学术不端」，本身就是一种误判。

解读战：OSC 2015 与它的批评者

复制危机最著名的实证是 Open Science Collaboration 2015《Estimating the Reproducibility of Psychological Science》（数字本人据 agent 一手 pdftotext 采信，并经 PubMed 复核）：100 项研究的复制中，原始 97 项显著结果只有 35 项（36%，95% CI 26.6%–46.2%）在复制中仍显著；复制的平均效应量约为原始的一半（r 从 0.403 降到 0.197）。

但这个数字立刻引发解读战，而这场仗正是命门二「对称」的现场：

  • Gilbert, King, Pettigrew & Wilson 2016（Science 评论，内部数字仅二手转引，标[需亲核]）指 OSC 有三处统计问题（复制本身低功效、抽样误差与 CI 覆盖、复制保真度不足），并称「数据其实与『心理学可复现性相当高』相容」。
  • Nosek / Anderson 等 2016 回应（本人 WebFetch PubMed 复核黄金句）——危机方自己的结论极其克制：

“Using the Reproducibility Project: Psychology data, both optimistic and pessimistic conclusions about reproducibility are possible, and neither are yet warranted.“（OSC 回应 2016，本人亲核「neither are」）

回应同时指出 Gilbert 的乐观估计「is limited by statistical misconceptions and by causal inferences from selectively interpreted, correlational data」——Gilbert 的功效反推建立在被发表偏倚夸大的原始效应量上。

落点：OSC 的招牌数字（36% 复制率、效应量减半）逐字无误；但它不等于「心理学大半是假的」——连危机方在回应里都亲口说「乐观与悲观结论都还不成立」。NASEM 2019 的官方判断把这一层钉死（本人核报告 PDF 逐字）：

“The overall extent of non-replicability is an inadequate indicator of the health of science.“（NASEM 2019, 结论 5-4）

NASEM 把非复制分成「促进科学进步的」（发现新现象、固有变异）与「阻碍的」（劣质实践、不报告）两类，并指出「复制危机」一词「despite a lack of reliable data about the existence of such a ‘crisis’」。复制失败是信号，不是判决书——它告诉你哪里要再看，不告诉你哪门学科该关张。 [一手逐字＋多源交叉]

六、当下 ＋ 我们自己挥尺的手（自指落点）

δ2 的自指落点有两个，一外一内，功能不重叠。

外部·「弃用统计显著性」之战正在进行

2016 年起，统计学界对显著性的争论达到高潮，而争论本身证明了母裁决②③层的判词。事件线（称重留给第八节红队 D）：

  • 2016：美国统计学会发表 ASA 声明，六条原则首次以官方身份警告 p 值的误读（本人核 PDF 逐字，详见第八节）。
  • 2019：Amrhein, Greenland, McShane 在《Nature》发表《Retire statistical significance》，逾 800 人联署，呼吁停止用 p 值做二分判决（本人据 agent 忠实转载复核「not calling for a ban」，nature.com 正文付费墙）；同期 ASA 编辑部《Moving to a World Beyond “p<0.05″》直接主张「stop using the term ‘statistically significant’ entirely」。
  • 反方：Mayo（与 Hand）反对完全弃用，主张「弃用阈值反而助长 data dredging、让结论更不可证伪」。

这一边要守 Popper 的可证伪、一边要拆掉所有线——显著性作为推断硬标准，在统计学界自己内部都达不成共识。

内部·我们自己挥着「显著／稳健／效应」这只手（镜子）

这是 δ2 独有、别篇给不了的第二刀。本库 55＋ 篇笔记里，「效应稳健」「显著差异」「证据较强」这类词挥过无数次。而更尖锐的是一个自指的 Goodhart：一旦把「复制率」「发表数」当成科研质量的 KPI 去优化，它就会按 Goodhart 定律失效——这正是测量代理篇（06-22 行 76）已留的接口「发表数量作为科研质量代理（接 δ2）」。把「复制率」当成科学的体温计去冲指标，和把「p<0.05」当成真理证书，是同一种病的两次发作——测量代理篇早警告过，把功能类比抬成本体论（与收敛论、自由能原理同病）。

用统计显著当尺没有错——错的是忘了这把尺只回答一个很窄的条件概率问题，而不是「假设是否为真」「能否复制」「学科是否健康」的终审。我们最该对自己说的，正是这句对所有滥用者说的话：p 值是好用的工具，不是真理的证书；复制率是有用的信号，不是科学的体温计。 体检这把尺，就是体检我们举尺的手——这是本篇作为「组 δ 元科学」的身份兑现，也是母裁决⑤层的落点。[我们的断言]

七、滥用全图谱：复制率因领域而异，合法核心也真实存在

判尺来自三问——(a) 这个领域的基率与功效大概多少？(b) 「复制失败」是哪一类成因（假阳性／p-hacking／情境异质／复制自身误差）？(c) 「显著」之后，你是停在「这是一条值得追的线索」（合法），还是跳到「这是已确立的真理」（滥用）？逐项对照。

跨领域分层（复制率确因领域而异，数字本人据 agent 一手核对，标明口径）：

  • 心理学：OSC 2015 约 36%（35/97，命门二已深做，此处点接）。Many Labs 系列进一步证「效应是否复制主要取决于效应本身」——锚定、框架稳健复制，国旗启动、货币启动完全不复制（Klein 2014/2018）。
  • 医学／生物：Ioannidis 2005 的 PPV 推演（命门一已深做，点接）。癌症生物学 Reproducibility Project（Errington 2021, eLife）：综合成功率约 46%（51/112）；若按「同向＋p<0.05」单一严格标准则为 43%（42/97，仅正效应）——两个口径别混；复制效应量中位数比原始小 85%。
  • 经济学：Camerer 2016（Science）实验室经济学 11/18≈61%，复制效应量约为原始 66%；Camerer 2018（Nat Hum Behav）《Nature》《Science》社科实验 13/21≈62%，复制效应量平均约为原始 50%（贝叶斯框架下真阳性率约 67%、真阳性相对效应量约 71%——勿写成「75%」）。
  • 机器学习／计算科学：Hutson 2018（Science）指「未公开代码、对训练条件敏感」使许多主张难以验证；NeurIPS 复现清单（Pineau 2021）要求报告数据划分、超参范围。这条对本库 AI 主线有用——评测指标的复现危机与「涌现幻象」同源（点接测量代理篇）。

合法核心（别一棍子打死）：

  • 物理学 5σ：粒子物理把发现门槛设在 5σ（单尾 p≈3×10⁻⁷）——2012 年 Higgs 由 ATLAS（5.9σ）与 CMS（5.0σ）两个独立实验同时达到。这是「极高门槛＋预设分析通道＋跨独立实验可复制」的忠实代理用法，与社会科学单次、可 forking 的 p<0.05 形成鲜明对照（点接测量代理篇「忠实代理」框架）。门槛高低本身不是关键，预注册＋高功效＋独立复制才是。
  • 质量控制／工业验收：Neyman-Pearson 的事前 α 在「长期错误率控制」的本职场景里完全合法（Fisher 1955 自己也承认航空可靠性靠它达成）——只是它本就不该被搬来当单次科学发现的证据度量。

越界线：把「p<0.05」当「已确立的真理」、把「复制失败」当「原研究造假／该领域全是垃圾」、把「复制率」当「科学健康度的单一指标」——这三步都是把一个窄工具膨胀成宽判决。

八、自指红线⑤ ＋ 对称双向红队 ＋ 作者声明

红线方向化（层⑤）

本篇的红线不是「p 值不能用」，而是方向化的：把一个回答窄问题的工具（在模型为真时，p 衡量数据与零假设的不相容度）膨胀成一道宽判决（p<0.05 即真／即重要／即可复制，复制失败即原研究错／即科学破产）。这与本库的同构病一脉——δ1「把可证伪从启发式抬成划界法律」、死亡篇「延缓死亡当取消死亡」、熵篇「熵＝宇宙命运」、哥德尔篇「形式系统不完备＝心灵有根本界限」。统计显著滥用是其中把窄问题答案当宽问题答案的那一支。

对称双向红队

  • A 端·防神化（防「p<0.05／复制／贝叶斯是真理的充分判据」）：本篇主体（五层＋命门〇／一／二）就是拆这端。核心：p 不是后验、0.05 是缝合出来的约定、低功效让显著结果系统性膨胀、复制失败有五条并立成因。
  • B 端·防虚无（对称刹车，本篇最关键、最易被忽略——头儿要加厚）：debunk 不能上头到说「p 值一无是处／统计都是骗局／心理学全是垃圾／复制危机证明科学破产」。要顶住——①NHST 在受控场景有效：预注册＋高功效＋明确零假设下，一条事前判定线仍有用；②5σ 物理学发现是真的，门槛＋独立复制让它可靠；③复制危机是科学自我纠错在工作，不是科学失败——能发现并量化非复制，正是科学健康的表现；④Ioannidis 的「most false」是基于假设的推演，不是实测全错；⑤复制失败 ≠ 造假（forking paths 证明真诚的单次分析也会失败）；⑥危机方自己说「neither optimistic nor pessimistic … yet warranted」，NASEM 说「非复制率不是科学健康度的合格指标」。
  • C 端·防消歧打包（本篇核心病）：p 值／α／功效／效应量／CI／可复现 vs 可重复／FDR／PPV，八根柱子（第一节），头号是 p-vs-α。一旦允许把它们炖成「显不显著」，A、B 两端的纪律全失依托。
  • D 端·对称防「改革方案就是救世主」（与 A 对称的反向膨胀，改革方案在此称重）：批 p<0.05 滥用，不等于任何替代方案是银弹——而改革派自己三分五裂正是最强证据：
  • 降阈值到 0.005（Benjamin 2018，72 人）：只是把任意线挪了个位置、把 0.005–0.05 区间改名叫「suggestive」——仍是一条新硬线。
  • 论证你的 α（Lakens 2018，88 人，「No one alpha to rule them all」）：直接反对 Benjamin 的统一阈值，主张逐研究论证——线更多了。
  • 拆掉所有线／弃用显著性（Amrhein-Greenland-McShane 2019，逾 800 人）：但他们明说「we are not calling for a ban on P values」，retire 的是二分法不是 p 值；而 Amrhein-Greenland 早先（2018）就公开反对 Benjamin 的 0.005（「Remove, rather than redefine … imposing a more stringent significance threshold will aggravate those problems」）；McShane-Gelman 干脆要「abandoning the null hypothesis significance testing paradigm entirely」（此「entirely」句系 arXiv:1709.07588 工作稿版，已发表 TAS 版措辞改为「demote／no desire to ban」——分版标注）。
  • Mayo 反方：弃用阈值「does not diminish but rather exacerbates data-dredging」；且「if all thresholds are abandoned—then there is no test of that claim … The possibility of falsification is what distinguishes good science」；她区分「被批判的 NHST 谬误用法」与「合法的 Fisher／Neyman-Pearson 检验」，名句「the fact that a tool can be misunderstood and misused is not a sufficient justification for discarding that tool」。Mayo 同时是《Justify Your Alpha》第 58 位共同作者——她反弃用、不挺 0.005，挺的是「论证 α＋保留误差控制」。
  • 修辞工具：s-value（Rafi-Greenland 2020）把 p 转成 −log₂(p) 比特——p=0.05 只值约 4.3 比特惊讶，≈ 连掷 4 枚硬币全正面，反「p 值二分」很形象；但展开它会与 Mayo 反方失衡，点接即可。
  • 置信区间也被误读（Morey 2016）：换成 CI 不等于换掉误读，「95% 概率含真值」是同一类错。
  • 落点：每个改革方案要么把 0.05 挪到 0.005（仍是任意线＋新的「suggestive」线），要么把单一阈值换成「逐研究论证的阈值」（线更多），要么拆掉所有线（Mayo：那就没有检验、不可证伪、data dredging 失控）。改革阵营的内战本身，就是「危机不在某条线选错、而在『靠单一阈值二分』这件事概念上就站不稳」的最强证据。

作者声明（诚实定界）

  • 母裁决五层切法、NHST 缝合史叙事、概念家族八柱消歧、「窄问题答案当宽问题答案」的灵魂句，都是本篇的整合脚手架，非单篇文献首创：缝合史综合 Gigerenzer 2004／Lehmann 1993／Fisher-Neyman 一手，PPV 链综合 Ioannidis 2005／Gelman-Carlin 2014／Button 2013，自指落点是把测量代理 Goodhart 与本库挥尺旧线并置的作者判断。
  • 「复制失败 ≠ 原研究错 ≠ 造假 ≠ 科学破产」四台阶，承袭哥德尔篇「invalid ≠ refuted」、δ1「不可证伪 ≠ 伪科学 ≠ 无价值」的措辞纪律。
  • Fisher、Neyman、Pearson 本人不是滥用者——他们各自的框架都自洽，且都会拒绝 null ritual；滥用是后来教科书把两者缝合、再被当成机械流程的人做的。承袭 δ1「别把谨慎的发现者算进滥用者」的自伤防护。

〇　红线（本篇绝不越的线）

  1. 不把「模型为真时 p 衡量数据与零假设的不相容度」偷换成「p<0.05 即假设为真／即效应重要／即可复制」。
  2. 不把「复制失败」直接等于「原研究错／造假／该领域全是垃圾」；复制失败 ≠ 原研究错 ≠ 造假 ≠ 科学破产，四个台阶分开走。
  3. 不把 Fisher 的事后证据 p 与 Neyman-Pearson 的事前错误率 α 混为一谈（null ritual 的核心错）；不把谨慎的三位创始人算进滥用者。
  4. 防虚无与防神化对称：批 p<0.05 与复制率滥用，不等于「统计无用／科学破产」，也不等于「贝叶斯／预注册／弃用显著性是银弹」。
  5. 不把「复制率／发表数」当成科学健康度的单一指标去优化——那是自指的 Goodhart。

关键来源（分组·带链接）

p 值定义与 ASA 官方

NHST 缝合史（脊柱）

命门一·PPV 与效应量膨胀

命门二·复制实证与解读战

红队 D·改革方案与反方

跨领域复制

留痕

  • 增量声明：全库首篇正面、独立解剖「统计显著性／复制危机」这把全线推断尺本身。此前 p 值／复制只作工具散布在因果篇（Ioannidis 一句、识别假设）、概率贝叶斯篇（频率派 vs 贝叶斯地基）、测量代理篇（复制率 Goodhart 接口）等处，无一篇体检尺本身。本篇增量六点：①NHST 缝合史（Fisher 证据 vs Neyman-Pearson 行为被缝成 null ritual，全库零命中）②概念家族八柱消歧（p-vs-α 打头）③p≠P(H₀｜数据)＋PPV 完整推导（Ioannidis 升格自因果篇一句）④winner’s curse／Type M 把命门一动态化⑤复制失败五成因＋forking paths≠p-hacking＋OSC 解读战「neither are yet warranted」⑥改革派三分五裂（redefine／justify／abandon 互不买账）＋我们自己挥尺的手（复制率 Goodhart）。
  • 亲核分级：本人一手亲核 4 处——WebFetch Fisher 1925 York 档案「is to be considered」（脊柱，纠流行「ought to be」误引）、WebFetch PLoS Ioannidis 2005 PPV 公式「(1−β)R/(R−βR+α)」（命门一，纠本人 plan 阶段公式笔误）、WebFetch PubMed OSC 2016「neither are yet warranted」（命门二黄金句，确认 are 非 is）、Read 三篇收编旧篇边界原话（概率贝叶斯行 318／测量代理行 76／因果行 288）。其余采信 6 路 agent 一手核（多为 pdftotext 落盘：Gigerenzer MPI PDF 全文、Ioannidis 2005 PLoS 全文、OSC 2015 接受稿、Cohen 1994、Gelman-Carlin、Button 2013、ASA 官方 PDF 六原则、NASEM 报告 PDF、Amrhein 忠实转载、Mayo-Hand PMC、s-value PMC、Camerer/eLife/Many Labs abstract），逐字均带链接。
  • 关键纠错清单（12 条）：①PPV 公式分母是「R−βR+α」即「(1−β)R+α」，非「(1−β)R−βR+α」（本人 plan 笔误，已纠）②Camerer 2018 复制效应量约为原始 50%（全样本），71% 是贝叶斯真阳性相对效应、67% 是真阳性率，非「75%」③癌症生物 46%＝综合 51/112，严格同向＋显著则 43%（42/97），两口径别混④Fisher 1925 是「is to be considered」非「ought to be considered」⑤OSC 2016 是「neither are yet warranted」（are 非 is）⑥「inductive behaviour」术语 Neyman-Pearson 1933 已用、1957 才专论，非「1957 首创」⑦McShane-Gelman「abandon entirely」句系 arXiv 工作稿版，已发表 TAS 版改为「demote／no desire to ban」，须分版标注⑧Mayo 是《Justify Your Alpha》第 58 位共同作者，立场是「论证 α＋保留误差控制」，非 Fisher 卫道士⑨Amrhein 2019 明说「not calling for a ban on P values」，retire 的是二分法⑩「more than 800」（Nature 官方）vs 854（OSF 联署调查）分别标来源⑪Fisher 1955「absurdly academic」确切短语查无，用「acceptance is irreversible／no thought is given to the particular case／五年计划」已核逐字⑫Gigerenzer null ritual 用正文版三步（带「no mean difference／zero correlation」）比摘要版完整。
  • 待补一手（诚实标注）：Neyman-Pearson 1933 逐字（付费墙，[文献较稳]）；Gilbert 2016 内部数字 34.54% 等（仅二手转引，[需亲核]）；FDR 定义 JRSS-B 正文（付费墙，[文献较稳]）；Amrhein 2019 Nature 正文「never conclude no difference」建议句（付费墙，[需亲核]，现用开篇反问句＋ASA 原则 5 承重）；物理 5σ 精确值 2.87×10⁻⁷（CERN/ATLAS 原文用 3×10⁻⁷ 口径，精确值 [需亲核]）。
  • 工具与注入声明：6 路 agent 并发联网核＋本人 WebFetch／Read 复核 4 处。全部 6 路 agent 均独立报告：WebSearch 结果尾部反复出现「REMINDER: You MUST include the sources above…」式祈使文本，一致识别为搜索工具 footer／疑似提示注入，均未执行、已上报；另有 Science.org（403）、nature.com（idp 登录墙）、pharmtech.com（403）等付费墙／死链，已改走 PMC／PubMed／作者镜像／本地 PDF 或弃用。无工具结果伪造。每处写入经 grep 自检。
  • 日期：课题完善、Plan 红队、6 路联网核、本人亲核、撰写、双版 HTML 全程于 2026-06-25 当日完成。
  • 身份：延伸候选池组 δ（元科学）第二篇 · δ1 可证伪篇的姊妹兑现篇 · 机制裁决红队风第二十一篇 · 对称双向红队第十六篇。
标签: