每天資訊LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

菜單

LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

轉自:機器之心

哲學園鳴謝

選自people。idsia。ch

作者:

Jürgen Schmidhuber

機器之心編譯

機器之心編輯部

圖靈的貢獻真的被誇大了嗎?

LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

「艾倫 · 圖靈(Alan M。 Turing)對計算機科學做出了某些重大貢獻。然而,這些貢獻的重要性和影響力往往被誇大了,以犧牲該領域先驅者的利益為代價。不過,這不是圖靈的錯。」

這是 AI 領域的國際大牛、LSTM 之父 Jürgen Schmidhuber 對圖靈的評價。其受邀寫了一篇關於艾倫 · 圖靈的文章。

LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

JürgenSchmidhuber

認為艾倫 · 圖靈的貢獻被誇大了

我們需要停止以犧牲同行為代價來誇大個別科學家的貢獻。在這裡,Jürgen Schmidhuber 重點介紹了計算機科學的基本概念,但有時它們會被錯誤地歸因於艾倫 · 圖靈的貢獻,尤其是在盎格魯世界(Anglosphere)中。圖靈確實對該領域做出了一些非常重要的貢獻,但是它們被誇大了。

例如,有人認為是圖靈創立了計算機科學,但實際上不是的。就連《自然》也曾發表過誇大其詞的言論,比如:圖靈在 1936 年發表的論文,為後來所有的計算機提供了理論支柱。此外還有一部很受歡迎的英國電影甚至說圖靈發明了計算機,這些都誇大了圖靈的貢獻。

關於這個討論,一個很好的切入點是 ACM 對 2018 年圖靈獎的官方解釋:圖靈獎通常被稱為計算機界諾貝爾獎,獎金為 100 萬美元,由谷歌公司提供支援,它是以英國數學家艾倫 · 圖靈的名字命名的,他闡述了計算的數學基礎和侷限性。

儘管 ACM 關於圖靈的說明並不是完全錯誤的,但就如其他說明一樣,它是非常具有誤導性的。ACM 正確地指出了是圖靈闡述了計算的數學基礎和侷限性。然而,在過去的幾十年裡,很多研究者都對這個問題進行了研究,當談到科學貢獻時,人們往往會問:誰是第一個做的,是不是圖靈。

圖靈的論文在奧地利數學家庫爾特 · 哥德爾(Kurt Gödel)(1931)的開創性研究五年後,以及美國阿隆佐 · 邱奇 (Alonzo Church) (1935) 的研究一年後發表。當然,圖靈在 1936 年的論文中都引用了他們的研究(修正後的研究是在 1937 年)。考慮到這一點,我們需要更仔細地瞭解現代計算機科學的誕生。

LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

艾倫·圖靈

現代計算機科學的誕生

20 世紀 30 年代初,哥德爾成為現代理論計算機科學創始人,他介紹了一種基於整數的通用程式語言(1931-34),該語言允許以公理的形式形式化任何數字計算機操作。哥德爾用程式語言來表示資料(比如公理和定理)和程式。他構建了一個著名的形式陳述(formal statements),並且討論了其他形式陳述的計算,特別是自指陳述(self-referential statements),這意味著這些陳述是不可判定的,即給出一個計算定理證明器,該證明器系統地從一組可列舉的公理中列舉出所有可能的定理。因此,哥德爾確定了演算法定理證明、計算和其他基於計算的 AI 基本極限。20 世紀 40 年代至 70 年代,早期 AI 的大部分內容實際上是透過專家系統和邏輯程式設計、以哥德爾風格進行定理證明和推理的。

LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

哥德爾

哥德爾的早期研究建立在 Gottlob Frege(引入了第一個形式語言,1879)、Georg Cantor(對角化技巧,1891)、Thoralf Skolem(引入原始遞迴函式,1923)、Jacques Herbrand(Skolem 方法的侷限性)基礎上。這些研究者的貢獻反過來又建立在 Gottfried Wilhelm Leibniz 的形式思想代數 (1686) 之上,它與後來 1847 年布林代數在推理上等效。萊布尼茨(Leibniz)是計算機科學之父候選人之一,被稱為世界上第一位計算機科學家,甚至是有史以來最聰明的人。他不僅是第一個發表無窮小微積分(1684)的人,也是第一個描述由穿孔卡片控制二進位制計算機(1679)原理的人。二進位制數編碼本身比這更古老,可以追溯到古埃及。二進位制算術運算的演算法部分雖然相對較新。但關於二進位制編碼的出版物可追溯到 1670 年 Juan Caramuel y Lobkowitz 的研究,此外還有 Thomas Harriott 未發表的論文都有提及。

LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

萊布尼茨

此外,萊布尼茨還進行過一項極具影響力的專案,他藉助通用語言和用於推理的通用微積分:Characteristica Universalis & Calculus Ratiocinator(靈感來自 13 世紀學者 Ramon Llull),透過計算來回答所有可能的問題。然而,在 1930 年代初期,哥德爾研究結果顯示了萊布尼茨研究的侷限性。

1935 年,丘奇透過證明 Hilbert 和 Ackermann 的 Entscheidungsproblem(決策問題)沒有通用解決方案,對哥德爾結果進行了推導和擴充套件。為此,他使用了名為 Untyped Lambda Calculus 的替代通用編碼語言,該語言構成了極具影響力的程式語言 LISP 的基礎。

LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

丘奇

1936 年,圖靈引入了另一個通用模型,現已成為最著名的模型(至少在計算機科學中):圖靈機。當然,他在 1936 年的論文中同時引用了哥德爾和丘奇(其更正出現在 1937 中)的研究。同年 1936,Emil Post 發表了另一個獨立的通用計算模型,同樣引用了哥德爾和丘奇的研究。今天我們知道有很多這樣的模型。  丘奇證明了他的模型與哥德爾的模型具有相同的表現力。然而,據瞭解,正是圖靈的工作(1936 年)使哥德爾相信他的方法(1931-34)和丘奇的方法(1935 年)具有普遍性。

就如哥德爾在 1931-34 年提出的原始通用程式語言一樣,圖靈機和 1936 的提出的 Post 機都是理論、不切實際的結構,不能直接作為現實世界計算機的基礎。值得注意的是,康拉德 · 楚澤(Konrad Zuse)對第一臺實用的通用程式控制計算機的專利申請也可以追溯到 1936 年。圖靈和 Post 在 1936 年做了哪些哥德爾(1931-34)和丘奇(1935)之前沒有做過的事情?看似微小的差異,但其重要性後來才顯現出來。哥德爾的許多指令序列是數字編碼儲存內容與整數的一系列乘法。哥德爾並不在意這種乘法的計算複雜性會隨著儲存大小的增加而增加。類似地,丘奇也忽略了演算法中基本指令的上下文相關時空複雜性。然而,圖靈和 Post 採用了傳統的、簡化的、二元計算觀點。他們的機器模型只允許具有恆定複雜性的、非常簡單的基本二進位制指令,如萊布尼茨(1679)的早期二進位制機器模型和 Zuse1936 年的專利申請。他們沒有利用圖靈的(相當低效的)模型,只是在可計算性的極限上重新表述了哥德爾和丘奇的結果。然而,後來,這些機器的簡單性使它們成為對複雜性進行理論研究的方便工具。

AI 基礎性成果,遠遠早於圖靈的研究

有人會說,圖靈至少為人工智慧奠定了基礎。但是這有意義嗎?1948 年,圖靈撰寫了與人工進化和學習人工神經網路相關的想法,其架構至少可以追溯到 1943 年(但是可以參考自 20 世紀 20 年代以來與之密切相關的物理學研究)。圖靈沒有發表這篇文章,這也解釋了為什麼他的論文缺乏影響力。1950 年,他提出了一個簡單而著名的主觀測試,用來評估計算機是否具有智慧。1956 年,在達特茅斯 (Dartmouth) 的一次會議上,約翰 · 麥卡錫 (John McCarthy) 創造了人工智慧(AI)一詞,作為相關研究的新標籤。然而,關於人工智慧的第一次會議已經於 1951 年在巴黎舉行,當時大部分現在稱為人工智慧的內容仍稱為控制論,其重點非常符合基於深度神經網路的現代人工智慧。

LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

約翰·麥卡錫

在那之前 1914 年,西班牙人 Leonardo Torres y Quevedo 創造了第一個可操作的象棋終端機,成為 20 世紀第一個實用人工智慧的先驅(當時,象棋被認為是一種侷限於具有智力生物領域的活動)。幾十年後,當人工智慧先驅 Norbert Wiener 在 1951 年巴黎會議上與它對抗時,這臺機器的表現仍然被認為是令人印象深刻。

然而,Konrad Zuse 早在 1945 年就有了更多的象棋常規,他還在 1948 年將他開創性的 Plankalkül 程式語言應用於定理證明,這早於 Newell & Simon 於 1956 年的工作。如上所述,現代人工智慧理論的先驅是哥德爾(1931-34),他確定了人工智慧、數學和計算的極限,並透過專家系統自動定理證明和推論奠定了人工智慧的正式基礎,他還表明人類優於人工智慧。總之,人工智慧的基礎性成就遠遠早於圖靈的成就。

理論計算機科學領域的「哥德爾獎」就是以哥德爾的名字命名的。獎金更高的圖靈獎創建於 1966 年,以表彰那些「對計算機領域具有長久和重大的技術貢獻」。有趣但同時也令人尷尬的是,哥德爾 (1906-1978) 本人從未獲得過該獎項,且不提他奠定了現代理論計算機科學領域的基礎,而且哥德爾還在他寫給約翰 · 馮 · 諾依曼的著名信件中(1956 年)確定了最著名的開放問題「P= NP?」。此外,丘奇(1903-1995)也沒有獲得過該獎項。

同樣,Konrad Zuse(1910-1995)儘管在 1935-41 年創造了世界上第一臺可執行的可程式設計通用計算機,但從未獲得過圖靈獎。他在 1936 年的專利申請上描述了可程式設計物理硬體所需的數位電路,早於 Claude Shannon 1937 年關於數位電路設計的論文。Zuse 還在 20 世紀 40 年代早期創造了第一種高階程式設計語言。1941 年 Zuse 的 Z3 計算機是一種實用裝置,而不僅僅是像哥德爾 (1931-34)、丘奇 (1935)、圖靈 (1936) 和 Post(1936) 那樣理論、不切實際的構造。

LSTM之父評圖靈:貢獻被誇大,站在巨人肩膀上做研究

KonradZuse

第一個已知的基於齒輪的計算裝置可追溯到 2000 多年前古希臘的 Antikythera 機械裝置(一種天文鐘)。1500 年之後,Peter Henlein 仍然製造了概念上相似的機器,儘管更小,即第一款微型懷錶(1505)。但是這些裝置總是計算相同的東西,例如,將分鐘除以 60 得到小時。17 世紀出現了更靈活的機器,可以根據輸入資料計算答案。第一個基於資料處理齒輪的簡單算術專用計算器是由 Wilhelm Schickard 在 1623 年創造的,他是「自動計算之父」的候選人之一,其次是 Blaise Pascal 的 Pascal(1642)。

溯源程式概念

1673 年,萊布尼茨首先設計出第一臺可以執行加減乘除四種算術運算的機械計算器——步進計算器(step reckoner)。他還發明瞭二進位制——被幾乎所有現代計算機使用。

1941 年 Zuse 製造出世界上第一臺能程式設計的計算機 Z3,它使用帶有移動開關的電磁繼電器。第一個電子專用計算器是 John Atanasoff 發明的 ABC 計算機。與 1600 年代基於齒輪的機器不同,ABC 計算機使用電子管。但與 Z3 不同,ABC 計算機不能自由程式設計。

另一方面,程式的概念從那時開始變得眾所周知。也許世界上第一臺可以實際應用的可程式設計機器是公元 1 世紀製造的自動化劇場。其中可程式設計自動機的能源是一個落錘,拉動纏繞在旋轉圓柱體上的繩子。控制門和木偶的複雜指令序列由複雜的包裝進行編碼。

公元 9 世紀,Banu Musa 兄弟發明了一種可以自動演奏樂曲的樂器,它使用旋轉圓柱體上的銷釘儲存控制蒸汽驅動長笛的程式。從本質上說,這正是一臺可以程式設計的機器,並且帶有儲存程式。

大約 1800 年,Joseph-Marie Jacquard 等人在法國建造了第一臺商用程式控制機器,即基於打孔卡的機器,也許這算是編寫世界上第一個工業軟體的第一批「現代」程式設計師。

在這種情況下,似乎有必要指出程式與上面提到的 1600 年代有限的使用者輸入資料之間的區別。程式是儲存在某種介質(例如穿孔卡)上的指令序列,可以一次又一次地執行,無需人工干預。隨著時間的推移,儲存程式所需的物理物件變得越來越輕。古代機器將它們儲存在旋轉的圓柱體上;Jacquard 將它們存放在紙板上;Zuse 將它們儲存在 35mm 膠片上,今天我們經常使用電子和可磁化材料儲存它們。

大約 1800 年,Joseph-Marie Jacquard 等人在法國建造了第一臺商用程式控制機器,即基於打孔卡的織機,也許他們算是編寫世界上第一個工業軟體的第一批「現代」程式設計師。

這種機器設計思想啟發了 Ada Lovelace 和她的導師 Charles Babbage,當時他們計劃但卻無法構建十進位制的可程式設計通用計算機。1941 年 Zuse 製造出世界上第一臺能程式設計的計算機 Z3,而在 1944 年,Howard Aiken 構建了第一個通用可程式設計機器十進位制的馬克一號(MARK I)。

1931-1934 年,哥德爾提出了一種基於整數的通用編碼語言。它允許以公理形式對任何數字計算機操作進行形式化。他使用哥德爾編號來表示資料和程式。

就像後來的圖靈和 Post 將它們儲存在位串中一樣。當然,任何圖靈機或 Post 機或任何其他數字計算機的行為都可以在哥德爾原始的通用模型中形式化 。然而,應該指出的是,我們在這裡使用的是現代術語:哥德爾 (1931)、丘奇 (1935) 和 圖靈 (1936) 在他們的論文中都沒有提到程式這個詞(儘管 Zuse 1936 年的專利申請經常提到 Rechenplan,意思是程式)。同樣,儲存程式一詞後來首次出現在電子儲存的上下文中。

圖靈發表了生物資訊學的開創性工作。然而,他最大的影響可能來自他對破解 Enigma 程式碼的貢獻,在二戰期間被德國軍隊使用。他在英國布萊切利公園與 Gordon Welchman 一起工作。然而,著名的破譯 Colossus 機器是由 Tommy Flowers(不是圖靈)設計的。英國密碼學家建立在波蘭數學家 Marian Rejewski、Jerzy Rozycki 和 Henryk Zygalski 的早期基礎工作之上,他們是第一個破解 Enigma 密碼的人。有人說這是擊敗第三帝國的決定性因素。

總而言之,許多人對計算的理論和實踐做出了貢獻。儘管如此,圖靈的貢獻是巨大的,儘管他是站在巨人的肩膀上。他 1936 年發表的著名論文引用了哥德爾 (1931) 和丘奇 (1935) 的開創性工作。這位偉大的科學家似乎不太可能會同意關於他的誇大其詞的說法,如此輕易地駁斥了他同事的工作。

原文連結:

https://people。idsia。ch/~juergen/turing-oversold。html