书 · 2019-03 · 戴维·施皮格尔霍尔特(David Spiegelhalter)

《统计的艺术》

逻辑与思维书单第 11 名

一句话结论

统计的本事,是把问题、数据和假设连接起来,弄清证据支持什么,以及我们还有多不确定。

值不值得读完整本?

值得读完整本。它能把你从“看见数字就接受结论”,带到会检查数据来源、比较方式和推断边界的位置,很适合作为“逻辑与思维”书单中的统计入门。

  • 先读导言和第1—3章,理解统计解决问题的流程,以及百分比、图表、总体和测量;基础熟悉的读者可以略读图表类型的介绍。
  • 第4—6章值得细看:因果、回归和预测分别回答不同问题,混淆它们是日常推理中的常见错误。
  • 第7—11章建议按顺序读,并配合小练习:比较不同样本的估计、解释置信区间和P值、画出贝叶斯更新的频数树;公式细节可在初读时略过。
  • 第12—14章不要跳过,它们解释研究为什么失灵、怎样改进。作者配套网站提供部分图表的数据和R代码,想动手的读者可挑一个案例复现。

核心观点

1. 先问数据怎样产生,再问怎样计算

统计分析应从明确问题开始,再决定研究对象、测量方式和数据收集方案。数据能否回答问题,比数据量大不大更要紧。

为什么:现实中的概念必须先被转成可记录的指标,这一步已经包含取舍。实际观察到的人或事,也未必代表我们想了解的总体。扩大样本通常能减少随机波动,却不能自动修复系统性的漏选或测量偏差。因此,从样本走向总体的结论,需要说明数据产生过程,并检查这种推广依赖什么假设。

2. 数字的表达方式会改变读者的判断

平均数、百分比和图表都是对信息的选择性压缩。理解一个数字,要同时看分母、分布、比较基准和表达方式。

为什么:均值可能被少数极端值拉动,单个汇总数也会掩盖群体内部的差异。相对风险描述变化比例,却不告诉人原来的风险有多大。图表的坐标和尺度又会影响差异看起来有多突出。把绝对风险、共同分母和必要的分布信息一起呈现,读者才有条件判断变化的实际分量。

3. 相关关系与干预效果是两回事

观察到两个变量一起变化,不足以说明改变其中一个就会改变另一个。因果判断需要研究设计、背景知识和明确假设,回归调整本身不提供保证。

为什么:共同原因可能同时影响两个变量,因果方向也可能与表面解释相反。把人群合在一起或分开比较,还可能得到方向不同的关系。随机分配通过让治疗安排不依赖参与者原有特征,在重复分配的意义上减少混杂,但不保证每次分组都完全平衡。观察性研究则需要认真解释调整了什么、遗漏了什么,以及这些选择为何合理。

4. 预测能力要由未参与建模的数据检验

模型把已有数据解释得漂亮,不等于能预测新情况。评价预测模型,要检查新数据上的表现、概率是否校准,以及使用环境是否发生变化。

为什么:灵活的模型既能学到稳定规律,也能把训练样本里的偶然噪声记下来。用同一批数据训练和评判,会奖励这种过拟合。测试集和交叉验证让模型面对未用于拟合的观察,帮助估计它推广到新数据时的误差。即使测试表现很好,模型也可能依赖背景中的偶然线索,而不是我们以为它识别的特征。

5. 推断要交代不确定性,不能只给真假标签

估计值需要配合不确定性范围,P值不能直接解释为假设为真的概率。贝叶斯方法则把已有判断与新证据结合,明确表示更新后的不确定性。

为什么:换一批样本,估计值就可能改变,自助法等方法通过模拟这种变化来研究估计的稳定程度。置信区间的覆盖率属于计算程序在重复抽样中的性质,不能直接解释成某个已算出的区间包含固定参数的概率。P值是在原假设及其他模型假设成立时,得到当前或更极端结果的概率,因此不能把条件倒过来读成原假设的概率。贝叶斯更新把先验与似然结合,但结果仍依赖这些输入是否合理。判断证据时,还应看效应大小、研究设计和背景知识,而不只看是否跨过某个阈值。

6. 可信的统计需要能暴露错误的研究流程

研究失真常来自分析选择、发表偏差和传播环节的累积。改进统计,既要改方法,也要让研究过程更透明、可检查、可重复。

为什么:如果研究者不断尝试不同分组、指标和分析,偶然出现的显著结果就更容易被挑出来。若不显著的研究又较难发表,读者看到的文献便会偏向成功和夸大的效果。预先登记问题与分析方案,有助于区分事先检验和事后探索。开放可共享的数据与代码、完整报告结果并开展独立重复研究,能让别人发现错误,逐步修正结论。

反对意见

因果模型应占据更重要的位置(诺曼·芬顿)

芬顿在2019年的本书书评中总体高度肯定这本书,但认为因果部分对图模型介绍不足,重心过于偏向随机试验。他主张先把变量之间的因果假设画清楚,因为这能帮助判断应控制哪些变量,以及在什么条件下可以从观察数据识别因果效果。这是对本书取舍的直接批评,不意味着画出图就能免除假设检验。

随机试验不能自动告诉我们换个地方是否有效(安格斯·迪顿、南希·卡特赖特)

两人在《Understanding and misunderstanding randomized controlled trials》中指出,随机化不保证一次试验中所有特征都平衡,也不自动保证估计精确。试验样本的平均效果要用于其他人群,需要额外说明作用机制和环境条件。这篇论文发表于本书之前,是对随机试验优先观念的限制性批评,并非对本书的直接反驳。

证据的强弱还取决于检验发现错误的能力(德博拉·梅奥)

梅奥在《Statistical Inference as Severe Testing》中主张,一个说法值得相信,要看它是否通过了本来有较大机会暴露其错误的严格检验。她反对把证据评价主要归结为假设的概率高低,强调抽样程序、选择效应和错误探测能力。这与作者偏好的贝叶斯解释形成基础层面的分歧,但双方都反对机械追逐显著性;该书也不是针对《统计的艺术》的书评。

相关推荐

导读由 AI 根据公开资料整理,没有读取原书全文,一切以原著为准。导读 Primer 首页