《终极算法》

一句话结论

多明戈斯用五大学派解释机器如何学习，并提出一个尚待证明的愿景：把它们的长处统一起来，让机器承担更多发现知识的工作。

值不值得读完整本？

值得读完整本：它能帮你把机器学习的几条主要路线放在同一张地图上，理解它们各自解决什么问题；但应把算法原理与作者对未来的乐观预测分开判断。

• 先读第一、二章，把握从手写规则到从数据中学习的转变，以及“终极算法”究竟是什么假说。
• 第三至第七章是全书骨架，值得逐章细读。每读完一章，试着回答：它怎样表示知识、怎样学习、擅长什么、遗漏什么。
• 第八、九章不要跳过：无监督学习与不同路线的统一，才把前面的学派介绍接成作者自己的论证。
• 第十章值得完整读，但隐私、就业和社会分配属于需要额外论证的制度问题。应用案例可以快读，机制解释应慢读；本书不能替代数学和编程练习。

核心观点

1. 学习是在生成规则，统一学习器仍是一个假说

机器学习把一部分工作从“人写出解决规则”变成“机器从数据中寻找解决规则”。作者进一步猜想，不同领域的学习可能共享一套足够通用的机制。

为什么：许多任务难在我们会做，却说不清全部规则；逐条编程容易被例外和复杂性拖垮。学习器让数据参与模型的形成，同一种学习方法因此可以服务不同任务。但数据不能自动决定唯一正确的模型，表示方式、已有知识和评价标准仍会影响结果。作者认为五大学派解决的是学习中的不同难题，因此值得寻找统一框架；这说明了一条研究方向，并没有证明这样的算法已经存在。

2. 符号学派：借助已有知识，反推缺失的规则

符号学派把知识表示成可以组合的概念和规则，再从已有知识与观察结果中寻找新的规则。作者用“逆向演绎”概括这条路线。

为什么：演绎从规则和条件推出结果，学习则可以反过来寻找哪些规则能解释观察到的结果。已有知识能够排除许多无意义的候选解释，使学习不必每次从零开始。学到的规则又能与其他规则组合，应用到没有直接见过的情形。不过，同一批观察往往容许多个解释，所以反推并不保证唯一答案，还需要控制复杂性并检验新案例。

3. 联结与进化：既要调整连接，也要寻找结构

联结学派用神经网络学习，反向传播负责计算连接权重该怎样调整；进化学派则通过选择、变异和重组搜索候选程序或结构。两者处理的是不同层面的学习问题。

为什么：神经网络的输出由许多连接共同决定，预测出错时，很难直接看出每个连接应承担多少责任。反向传播把输出误差对各层参数的影响逐层计算出来，为权重调整提供方向。但调整权重仍以某种结构为前提，不能由此认定结构选择已经解决。进化搜索通过产生候选、评价表现并保留较优者，探索不同的程序或结构，因此在作者看来可以补充联结路线。

4. 贝叶斯与类推：管理不确定性，也要判断相似性

贝叶斯学派根据新证据更新不同解释的可信程度；类推学派根据新旧案例的相似性作出判断。作者认为，两者分别抓住了学习中的不确定性与经验迁移问题。

为什么：现实资料常有噪声和缺失，过早认定唯一解释会丢掉有用的备选可能。贝叶斯方法结合先验判断与证据在不同假设下出现的可能性，重新分配对各假设的信任。类推方法则利用相关案例，让过去的经验帮助判断新情况。它的关键难题是哪些差异重要、哪些可以忽略；相似性的表示和比较方式，决定经验能否有效迁移。

5. 无监督学习与统一框架：学习不能只等人给标准答案

作者强调，学习还应从没有人工标签的数据中发现结构。统一不同学派，则需要进一步比较它们怎样表示模型、评价模型和搜索模型。

为什么：人工给数据逐项标注成本很高，而大量观察本来就没有现成答案。无监督学习通过数据内部的关系寻找分组、潜在因素或较简洁的表示，使这些资料也能参与学习。但发现了某种结构，并不等于发现了任务需要的意义，结果仍取决于模型和评价标准。把各学派拆成表示、评价与优化，有助于看出可以组合的部分；作者的马尔可夫逻辑网络把逻辑规则与概率结合起来，展示了局部统一的可能，而非完成全部统一。

6. 算法重塑社会，关键还包括谁掌握个人数据

作者认为，学习算法会持续改变消费、科学研究与工作，普通人因此需要理解算法怎样认识自己。他也主张探索让个人更能掌控数据及其使用方式的安排。

为什么：行为记录可以被转化成关于个人偏好和需求的模型，而这些模型会影响推荐、筛选和服务。谁能够收集、组合和使用这些数据，谁就更有能力决定个人面对哪些机会与选择。理解学习机制，有助于人们发现错误并争取控制权。作者期待个人数据组织和自动化带来更大收益，但技术能力本身不能保证收益公平分配，这也是其社会愿景需要接受检验的地方。

反对意见

预测能力与因果理解之间仍有距离（朱迪亚·珀尔、达纳·麦肯齐）

两人在《The Book of Why》中强调，观察到的关联不能单独回答干预与反事实问题，还需要因果假设和相应方法。这为阅读本书提供了具体追问：学会预测某种结果，是否就知道改变什么会让结果改变？这是方法论上的对照，并非他们对多明戈斯的全面反驳。

自动化的收益未必公平分配（阿尼尔·阿南塔斯瓦米）

Ananthaswamy在《New Scientist》的本书书评中质疑作者对自动化社会的乐观判断：机器学习可能扩大贫富差距，而失业者依靠基本收入生活的未来，也未必具有书中设想的吸引力。技术提高生产能力，并不能单独说明收入、机会和生活意义将怎样分配。

具体任务的成功不足以证明通用智能近在眼前（梅拉妮·米切尔）

Mitchell在《Artificial Intelligence: A Guide for Thinking Humans》中通过人工智能的成果与失败，审视技术宣传和实际能力的距离。对照本书时，应追问：一种方法在特定任务中表现出色，是否足以支持跨情境的理解和迁移？这是一种不同的评估立场，并非针对本书的专门书评。

隐私与个人数据组织需要更充分展开（约翰·吉尔比）

Gilbey在《Times Higher Education》的书评中肯定本书对不同学习传统的清楚介绍，同时指出隐私问题出现得较晚，个人数据集体组织的方案值得进一步展开。这提醒读者：理解算法怎样运作，还不足以说明数据控制权在现实中怎样落实。

相关推荐

• Interview with Pedro Domingos：先听作者澄清通用学习器的设想，以及数据与已有知识为什么需要共同参与学习。
• Markov Logic Networks：查看逻辑规则与概率模型怎样在技术上结合，适合有数学基础后阅读。
• Every Model Learned by Gradient Descent Is Approximately a Kernel Machine：追踪作者联系神经网络与核方法的后续思路，注意结论的条件与近似性质。
• The Book of Why: The New Science of Cause and Effect：对照预测与因果推断的不同要求，避免把数据中的规律直接当作干预知识。
• Artificial Intelligence: A Guide for Thinking Humans：从人工智能的具体局限出发，审视通向通用智能的乐观推断。
• The limits of machine prediction：开篇直接以本书为例，提出自动学习能否取代理论与科学理解的问题；此处不据订阅墙后的内容扩展其论证。