牛津大學教授Michael Wooldridge：AI社區近40年如何看待神經網絡

最近牛津大學計算機系教授Michael Wooldridge在一口氣發了30條推特，內容是通過他的藏書這一個線索，梳理了近40年來人工智能社區對神經網絡的看法，獲得了很多AI界同行或大佬的關注。比如Yann lecun點贊說"Nice thread on the perception of neural nets by the AI community over 4 decades."

 

 

下面是對Michael Wooldridge推特內容的要點編譯如下，並針對提到的書籍添加了相關圖片：

 

我相信大家會同意，神經網絡社區中有些人會對過去40年來該領域的發展路徑感到遺憾，尤其是1980年代興起的聯結主義/PDP（parallel distributed processing，並行分布模型）熱潮在1990年代沉寂之後。

最近辦公室搬遷，我重新整理了自己的藏書，並重新審視了那些數量可笑的AI教科書，來看看大家對神經網絡的看法以及這種失望是否合理。

首先是：Douglas Richard Hofstadter（中文名：侯世達）的《戈德爾，埃舍爾，巴赫》（1979）。侯世達是普利策獎得主，在1980年代極具影響力，這本書探索人工智能、邏輯、音樂和藝術之間的聯系。

GEB（注：該書名的縮寫，又稱“集异璧”）是一次知識之旅 ，是一個真正獨特且頭部擴展的作品。我想很多學生在讀完這本書後都會被人工智能/邏輯/數學所吸引，所以向侯世達致敬，從那以後，我再也沒有見過這樣的作品。

GEB“確實”談論了神經結構（第339頁） ，並且不回避重大的問題（比如大腦如何導致思想？）事實上，它還解决了很多大問題，但沒有提及“感知器 Rosenblatt”，也沒有提到（也許幸運之事）Minsky & Papert撰寫的“Perceptrons”一書（盡管引用了兩比特作者的其他工作）。

下一部是3卷本的《人工智能手册》。Vols 1 （1981） and 2 （1982）， 由 Barr & Feigenbaum 編輯，Vol 3 （1982） 由 Cohen & Feigenbaum 編輯。我對這些書情有獨鐘。

這些書對我來說是一次巨大的懷舊之旅：我在本科時（1985-89）專心致志地研究了它們，它們對1970年代的人工智能世界有著深刻的了解，很多觀點至今具有現實意義和曆史參考價值。

第3卷涵蓋了視覺和學習，我們在模式識別的背景下發現了感知器......梯度下降也出現了（第376頁） ，這稍微讓我感到驚訝，用一句話描述為“爬山”。

然而，視覺/學習部分的絕大部分內容都是關於符號方法的，而原型（buttonholing）的神經網絡只是作為模式識別。鑒於我們現在所知道的，這很奇怪，不過這是40年前的事了。

接下來是伊萊恩·裏奇（Elaine Rich）1983年的《人工智能》（Artificial Intelligence）。我認為這是第一本真正被廣泛采用的人工智能教科書。這是我本科AI課程的正文。它寫得很好，有很多聯系，並且“非常”有影響力。

Rich的書一直影響著人工智能課程，直到今天。它的結構現在依然是規範：解决問題/搜索；玩遊戲；知識錶示；自然語言處理；感知；學習；應用。即使在今天，您也可以在任何地方找到具有這種結構的AI課程。

Rich的書是一本經典之作，至今仍然引人入勝。然而，它對感知器的描述只有一段話，並駁為從未達到任何程度的成功（第363頁）。這是聯結主義/PDP引起所有人注意之前的幾年。

接下來是人工智能期刊的特刊，以“人工智能的基礎”為題出版（麻省理工學院出版社，ed D Kirsh，1992年，基於1987年的研討會）。

在收錄的文章中，符號方法占主導地比特（Lenat，Feigenbaum，Newell...），但有趣的是，我看到對邏輯主義方法（“Rigor mortis”是一篇批評邏輯主義AI的文章標題）和基於知識的AI的强烈抵制。

神經網絡很少被提及。羅德·布魯克斯（Rod Brooks）似乎是唯一一個這樣做的人，在他的（精彩的）文章“沒有錶征的智能”，是我們這一代人工智能研究人員的猛烈號角。

Rod討論了神經網絡，但主要是在定比特他自己的工作（反應/行為AI）方面 - Rod離邏輯/知識還有很長的路要走，但他的AI比神經AI有更高的水准。

Matt Ginsberg的“Essential of Artificial Intelligence”於1993年出版。Matt的書清楚地錶明，自Rich的教科書以來，該領域已經成熟 ，並更具算法/數學性。

它包括對簡單神經網絡（第310頁開始）有非常清晰的解釋，但沒有梯度下降/反向傳播等算法。這些方法被忽略是因為缺乏聲明性的基礎，但也許更重要的是因為作者對可伸縮性的擔憂。

``……神經方法……如果我們需要10^ 12個閾值元素，將面臨嚴重困難！“（第313頁）

好吧，摩爾定律的累積效應已經吸引了我們中的許多人。這是一個有益的教訓。

最後，Russell & Norvig的經典作品“AI：A Modern Approach”。我記得當這本書於1995年發行時，人工智能社區流傳著興奮的漣漪。這是一項令人歎為觀止的學術工作。

沒有其他人工智能書籍能够像這本一樣，因為它能够講述一個關於構成我們瘋狂領域的無盡令人眼花繚亂的思想鏈的連貫故事。我寫過多本教科書，我知道這有多難。這是一項重大工作，獨一無二。

第1版AIMA對神經網絡進行了紮實的處理（第19章）：對感知器，多層前饋網絡，反向傳播等進行了極其清晰的描述。並具有適當的數學定義+實際算法。

然而，這本書指出了神經網絡的許多問題，並認為它們“不能形成目前人工智能的合適基礎”。

AIMA的最新（第4版）最近出版了：我非常自豪地宣布，我參與了其中多代理系統章節的編寫。

這個新版本，包括Gan之父 Ian Goodfellow 對神經網絡“夢幻般”的貢獻。它寫得很棒，並且完全公正地反映了人工智能直到2020年的發展曆程。

結論？是的，神經網絡顯然在很長一段時間內被人工智能中的許多人視為邊際利益和不確定價值。我不認為這必然是不合理的，除非那些不贊成這種方法的人提出了一些無可救藥的不切實際的東西......

個人而言，我認為神經網絡是一種*互補*方法，它清楚地證明了某些領域的價值;我沒有預料到我們在過去十年中看到了什麼。有一件事是肯定的：人工智能將繼續給我們帶來驚喜，我們會嘲笑我們現在持有的許多觀點。

 

Michael Wooldridge 簡介

牛津大學計算機科學系主任，曾參與開發阿爾法圍棋機器人（AlphaGo）項目  。Michael Wooldridge 教授主要從事多智能系統研究，同時兼任國際計算機學會、美國人工智能學會及歐洲人工智能學會會員；2015年7月—2017年8月曾擔任國際人工智能聯合會議主席。Michael Wooldridge 是人工智能界的學術先驅，在多智能系統方面頗有建樹，其著述《多Agent系統引論》已經被引為國內外多所大學的計算機科學專業教科書。