牛津大学教授Michael Wooldridge：AI社区近40年如何看待神经网络

最近牛津大学计算机系教授Michael Wooldridge在一口气发了30条推特，内容是通过他的藏书这一个线索，梳理了近40年来人工智能社区对神经网络的看法，获得了很多AI界同行或大佬的关注。比如Yann lecun点赞说"Nice thread on the perception of neural nets by the AI community over 4 decades."

 

 

下面是对Michael Wooldridge推特内容的要点编译如下，并针对提到的书籍添加了相关图片：

 

我相信大家会同意，神经网络社区中有些人会对过去40年来该领域的发展路径感到遗憾，尤其是1980年代兴起的联结主义/PDP（parallel distributed processing，并行分布模型）热潮在1990年代沉寂之后。

最近办公室搬迁，我重新整理了自己的藏书，并重新审视了那些数量可笑的AI教科书，来看看大家对神经网络的看法以及这种失望是否合理。

首先是：Douglas Richard Hofstadter（中文名：侯世达）的《戈德尔，埃舍尔，巴赫》（1979）。侯世达是普利策奖得主，在1980年代极具影响力，这本书探索人工智能、逻辑、音乐和艺术之间的联系。

GEB（注：该书名的缩写，又称“集异璧”）是一次知识之旅 ，是一个真正独特且头部扩展的作品。我想很多学生在读完这本书后都会被人工智能/逻辑/数学所吸引，所以向侯世达致敬，从那以后，我再也没有见过这样的作品。

GEB“确实”谈论了神经结构（第339页） ，并且不回避重大的问题（比如大脑如何导致思想？）事实上，它还解决了很多大问题，但没有提及“感知器 Rosenblatt”，也没有提到（也许幸运之事）Minsky & Papert撰写的“Perceptrons”一书（尽管引用了两位作者的其他工作）。

下一部是3卷本的《人工智能手册》。Vols 1 （1981） and 2 （1982）， 由 Barr & Feigenbaum 編輯，Vol 3 （1982） 由 Cohen & Feigenbaum 編輯。我对这些书情有独钟。

这些书对我来说是一次巨大的怀旧之旅：我在本科时（1985-89）专心致志地研究了它们，它们对1970年代的人工智能世界有着深刻的了解，很多观点至今具有现实意义和历史参考价值。

第3卷涵盖了视觉和学习，我们在模式识别的背景下发现了感知器......梯度下降也出现了（第376页） ，这稍微让我感到惊讶，用一句话描述为“爬山”。

然而，视觉/学习部分的绝大部分内容都是关于符号方法的，而原型（buttonholing）的神经网络只是作为模式识别。鉴于我们现在所知道的，这很奇怪，不过这是40年前的事了。

接下来是伊莱恩·里奇（Elaine Rich）1983年的《人工智能》（Artificial Intelligence）。我认为这是第一本真正被广泛采用的人工智能教科书。这是我本科AI课程的正文。它写得很好，有很多联系，并且“非常”有影响力。

Rich的书一直影响着人工智能课程，直到今天。它的结构现在依然是规范：解决问题/搜索；玩游戏；知识表示；自然语言处理；感知；学习；应用。即使在今天，您也可以在任何地方找到具有这种结构的AI课程。

Rich的书是一本经典之作，至今仍然引人入胜。然而，它对感知器的描述只有一段话，并驳为从未达到任何程度的成功（第363页）。这是联结主义/PDP引起所有人注意之前的几年。

接下来是人工智能期刊的特刊，以“人工智能的基础”为题出版（麻省理工学院出版社，ed D Kirsh，1992年，基于1987年的研讨会）。

在收录的文章中，符号方法占主导地位（Lenat，Feigenbaum，Newell...），但有趣的是，我看到对逻辑主义方法（“Rigor mortis”是一篇批评逻辑主义AI的文章标题）和基于知识的AI的强烈抵制。

神经网络很少被提及。罗德·布鲁克斯（Rod Brooks）似乎是唯一一个这样做的人，在他的（精彩的）文章“没有表征的智能”，是我们这一代人工智能研究人员的猛烈号角。

Rod讨论了神经网络，但主要是在定位他自己的工作（反应/行为AI）方面 - Rod离逻辑/知识还有很长的路要走，但他的AI比神经AI有更高的水准。

Matt Ginsberg的“Essential of Artificial Intelligence”于1993年出版。Matt的书清楚地表明，自Rich的教科书以来，该领域已经成熟 ，并更具算法/数学性。

它包括对简单神经网络（第310页开始）有非常清晰的解释，但没有梯度下降/反向传播等算法。这些方法被忽略是因为缺乏声明性的基础，但也许更重要的是因为作者对可伸缩性的担忧。

``……神经方法……如果我们需要10^ 12个阈值元素，将面临严重困难！“（第313页）

好吧，摩尔定律的累积效应已经吸引了我们中的许多人。这是一个有益的教训。

最后，Russell & Norvig的经典作品“AI：A Modern Approach”。我记得当这本书于1995年发行时，人工智能社区流传着兴奋的涟漪。这是一项令人叹为观止的学术工作。

没有其他人工智能书籍能够像这本一样，因为它能够讲述一个关于构成我们疯狂领域的无尽令人眼花缭乱的思想链的连贯故事。我写过多本教科书，我知道这有多难。这是一项重大工作，独一无二。

第1版AIMA对神经网络进行了扎实的处理（第19章）：对感知器，多层前馈网络，反向传播等进行了极其清晰的描述。并具有适当的数学定义+实际算法。

然而，这本书指出了神经网络的许多问题，并认为它们“不能形成目前人工智能的合适基础”。

AIMA的最新（第4版）最近出版了：我非常自豪地宣布，我参与了其中多代理系统章节的编写。

这个新版本，包括Gan之父 Ian Goodfellow 对神经网络“梦幻般”的贡献。它写得很棒，并且完全公正地反映了人工智能直到2020年的发展历程。

结论？是的，神经网络显然在很长一段时间内被人工智能中的许多人视为边际利益和不确定价值。我不认为这必然是不合理的，除非那些不赞成这种方法的人提出了一些无可救药的不切实际的东西......

个人而言，我认为神经网络是一种*互补*方法，它清楚地证明了某些领域的价值;我没有预料到我们在过去十年中看到了什么。有一件事是肯定的：人工智能将继续给我们带来惊喜，我们会嘲笑我们现在持有的许多观点。

 

Michael Wooldridge 简介

牛津大学计算机科学系主任，曾参与开发阿尔法围棋机器人（AlphaGo）项目  。Michael Wooldridge 教授主要从事多智能系统研究，同时兼任国际计算机学会、美国人工智能学会及欧洲人工智能学会会员；2015年7月—2017年8月曾担任国际人工智能联合会议主席。Michael Wooldridge 是人工智能界的学术先驱，在多智能系统方面颇有建树，其著述《多Agent系统引论》已经被引为国内外多所大学的计算机科学专业教科书。