书 · 2016-01 · 周志华

《机器学习》

计算机与 AI书单第 19 名

一句话结论

理解机器学习，要同时弄清模型做了什么假设、如何从数据中学习，以及凭什么相信它能处理没见过的样本。

值不值得读完整本？

值得完整读一遍，尤其适合希望系统掌握机器学习基础的读者。它提供了覆盖主要方法和理论的知识框架，但需要配合数学推导和练习，不能只靠浏览算法名称。

先细读第1—3章：弄清学习任务、泛化、评估与线性模型，再进入具体算法。
第4—8章重点比较决策树、神经网络、支持向量机、贝叶斯分类器和集成学习的假设、目标与适用条件；每类至少手算一个小例子。
第9—11章连起来读，理解聚类、降维、度量学习、特征选择和稀疏学习怎样改变数据的组织与表示。
考虑到考试计入学科等级，第12—16章都应掌握基本问题和推理机制，尤其不要漏掉半监督学习、概率图模型、规则学习与强化学习。
第一遍可以暂缓较长的证明、带星号的难题和历史故事；第二遍补关键推导，并用同一数据集比较几种模型，记录验证方法和结果。

核心观点

1. 学习的目标是泛化，评估必须独立于训练

模型要在未见样本上表现良好，训练集上的高分只是线索。第1、2、12章分别从基本概念、实验评估和学习理论解释这一目标。

为什么：有限训练数据既包含可重复的规律，也包含偶然性，复杂模型可能把两者一起记住。使用未参与训练和调参的数据评估，才能较可信地估计模型处理新样本的能力。不同任务对错误的代价不同，因此准确率、查准率、查全率等指标不能随意互换。学习理论进一步说明，泛化保证要依赖抽样条件、样本数量和假设空间的复杂程度，不能仅由训练误差推出。

2. 算法的差别，首先是表示方式与归纳偏好的差别

线性模型、决策树、神经网络、支持向量机和规则学习，提供了不同的表达与搜索方式。理解这些选择，比背住算法步骤更有用。

为什么：同一批有限样本通常能够支持多个假设，而这些假设对未见样本的判断可能不同，因此学习必须有所偏好。线性模型用属性的加权组合表达关系，决策树与规则学习则通过条件划分或条件组合描述规律。神经网络通过非线性单元的组合增强表达能力，并利用误差反向传播调整参数。支持向量机偏好较大间隔的分界面，核函数使它能够在隐式特征空间中处理非线性关系。第1章的没有免费午餐讨论提醒读者：脱离具体任务与数据分布，不能给这些方法排出普遍有效的优劣顺序。

3. 概率方法通过结构假设，让不确定性变得可计算

第7章用概率进行分类决策，第14章进一步用图表示多个变量之间的依赖。关键是明确哪些关系需要建模、哪些关系可以简化。

为什么：分类决策可以写成最小化条件风险；在各种误分类代价相同时，这对应于选择后验概率最大的类别。直接估计复杂的联合分布需要大量数据，朴素贝叶斯因此引入给定类别后的属性条件独立假设，减少需要估计的参数。概率图模型利用条件独立结构分解分布，使局部计算能够服务于整体推断。存在隐变量时，EM等方法通过交替估计隐变量信息和更新参数推进学习，但一般不能保证找到全局最优解。

4. 集成有效，依靠的是准确性与差异性的配合

第8章讨论如何把多个学习器组合起来，获得更好的预测。增加模型数量只是手段，成员之间怎样犯错才是关键。

为什么：如果多个学习器有一定预测能力，而且错误不总发生在同一样本上，投票或平均就可能抵消部分错误。若成员几乎完全一致，组合便难以带来额外收益。Bagging通过自助采样训练不同成员，通常特别有助于降低不稳定学习器的方差；随机森林进一步在属性选择中引入随机性。Boosting则逐轮改变学习重点，使后续成员补充已有组合的不足，两类方法的改进机制并不相同。

5. 利用数据结构，必须先说明什么结构与任务有关

第9—11章研究聚类、表示和特征，第13章研究如何利用未标记数据。它们共同要求读者检查：算法找到的结构，是否对应自己关心的区别。

为什么：高维空间中的样本往往稀疏，距离和邻域可能难以反映有效相似性，因此表示方式和度量会直接影响学习。聚类按选定的相似性、密度或模型组织样本，其结果不天然等于真实类别。降维尝试保留某类重要信息，特征选择和稀疏学习则限制参与表达的属性或系数，但保留较大方差也不等于保留了全部分类信息。未标记数据可以揭示分布形状，却不能单独告诉我们类别边界。只有在聚类假设、流形假设等条件把分布结构与标记联系起来时，半监督学习才有理由从中受益。

6. 强化学习要解决长期回报与探索之间的关系

第16章把学习扩展到与环境交互的连续决策。学习者需要判断行动对未来的影响，而不只是预测眼前的正确标签。

为什么：当前行动会影响后续状态和能够获得的奖励，因此眼前收益最高的行动未必带来最高累计回报。价值函数把当前奖励与未来价值联系起来，使延迟反馈能够逐步影响较早的决策。环境未知时，只利用已经看起来最好的行动，可能永远发现不了更好的选择，因此需要探索。动态规划、蒙特卡罗和时序差分等方法，分别利用不同程度的环境知识、完整经历或后续价值估计来更新判断。

反对意见

复杂度与泛化的关系可能出现双下降（Mikhail Belkin等）

Belkin、Hsu、Ma和Mandal在2019年的论文中指出，一些模型的测试误差会在刚好拟合训练数据附近升高，继续增加模型容量后又下降。这挑战了把经典过拟合图景理解为“模型越复杂最终必然越差”的读法，但没有否定偏差与方差的数学分解，也没有否定独立评估的必要性；该论文并非针对周志华教材的书评。

长期突破可能更依赖可扩展的学习与搜索（Richard S. Sutton）

Sutton在《苦涩的教训》中依据棋类、语音和视觉研究的历史，主张能持续利用更多计算的通用学习与搜索方法，长期往往胜过大量手工嵌入领域知识的办法。这对把特征与规则设计当作长期主要突破口的读法提出挑战；不过，他没有直接批评本书，也没有证明有限资源下的结构设计失去价值。

预测能力不足以回答干预与反事实问题（Judea Pearl）

Pearl在《因果推断的七种工具及对机器学习的反思》中区分关联、干预和反事实：仅凭观察数据中的统计关系，一般无法判断主动改变某个因素会产生什么结果，还需要因果假设或相应实验信息。这指出了把本书的预测与概率推断框架当作完整因果解释工具的局限，不能据此说本书自身承诺过这种能力。