《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 解決方案 > 實質名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

實質名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

2019-03-29
關鍵詞: ACM2018 LSTM DNN

昨日,ACM 2018 圖靈獎得主公布,深度學習三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊榮。此次 ACM 大獎的頒布,一方面讓人感嘆「終于」、「實至名歸」之外,也讓人不禁想起 LSTM 之父 JüRGEN SCHMIDHUBER,他是否也應該獲此榮譽呢?

微信圖片_20190329142253.jpg


在官方公告中,ACM 介紹說,「因三位巨頭在深度神經網絡概念和工程上的突破,使得 DNN 成為計算的一個重要構成,從而成為 2018 年圖靈獎得主。」

微信圖片_20190329142310.jpg


確實,在這波 AI 浪潮中,深度學習扮演著主力角色。在人工神經網絡歷經寒潮之時,Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 這樣一小撮人的的堅持,帶來了如今深度學習的崛起。


正如 ACM 主席 Cherri M. Pancake 所說,「人工智能如今是整個科學界發展最快的領域之一,也是社會上討論最廣的主題之一。AI 的發展、人們對 AI 的興趣,很大程度上是因為深度學習的近期進展,而 Bengio、Hinton 和 LeCun 為此奠定了重要基礎……」


因此,Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三位非 ACM Fellow(捂臉)獲此殊榮實至名歸。


然而,在我們感嘆有「計算機界諾貝爾獎」之稱的 ACM 圖靈獎「終于」頒發給深度學習時,也有學者發出疑問 LSTM 之父 Jurgen Schmidhuber 是否也應獲得此榮譽。


Jurgen 也該得獎?


2018 年的圖靈獎頒給了在 AI 寒冬中默默堅持,并引領學界走向深度學習爆發的三位先驅,這是 AI 領域的一件喜事。在大獎結果正式公布后,社交網絡上的討論也在熱烈開展,不過人們的焦點卻有些文不對題:

微信圖片_20190329142325.jpg

(圖注)在 Reddit 上,有關圖靈獎的帖子被頂最多的幾個回復:「Schmidhuber 哭暈在廁所」。


對此,人工智能著名學者,南京大學人工智能學院院長周志華第一時間也表示:「要論對深度學習的貢獻,Hinton 無疑居首,LeCun 和 Schmidhuber 貢獻都很大。但 HLB 總捆綁在一起,而 S 跟 HLB 都不對勁。。。獲獎需有提名有投票,人緣也重要。。。不過沒關系,有 LSTM 這樣教科書級的貢獻足以淡定。」


在知乎問答上,也有眾多網友肯定 Schmidhuber 的成就,感興趣的讀者可查看該知乎帖子:

微信圖片_20190329142355.jpg

鏈接:https://www.zhihu.com/question/317715156


看來大家紛紛對 Jurgen Schmidhuber 在人工智能領域里的貢獻表示肯定。不過此人在業內人緣似乎的確不夠好,在 2015 年還曾發文怒懟過 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人小圈子。


作為一個例子,讓我們看看《自然》雜志 2015 年的人工神經網絡(NN)文章《Deep Learning》,它是深度學習的一篇標志性文章,目前引用量已經達到了 13886。該文章是 LeCun、Bengio 和 Hinton (簡寫LBH)聯合寫的,他們從當下的卷積、循環和反向傳播算法等核心概念概覽了深度學習,并表示無監督學習、深度學習結合強化學習等方向才是發展趨勢。


然而,Schmidhuber 在當年的一篇批判性文章中表示,作者在這篇文章中引用了很多自己的研究工作,而忽視了半個世紀以前開創領域的先驅者。此外,Schmidhuber 在文章中還說了一句「They heavily cite each other」。


如下展示了Schmidhuber 批判的前三條觀點,他對該論文一共提出了九條批判性意見。

微信圖片_20190329142414.jpg

截自:http://people.idsia.ch/~juergen/deep-learning-conspiracy.html


總體而言,Schmidhuber 列舉了三人對于深度學習、反向傳播、前饋學習、無監督學習、卷積神經網絡等等方面對于前人研究的忽視,可謂詳盡。


如此耿直,難怪不受人待見。不過另一方面,我們評判一位學者的成就不應該看他的性格,而更應該以學術成就作為標準。


正如人們所說的,Jurgen Schmidhuber 是一名人工智能先驅。


Jurgen 的學術成就


作為 LSTM 發明人、深度學習元老,Jürgen Schmidhuber 的識別度一直沒有 Yann LeCun、Yoshua Bengio 等人那么高。他最為人們所知的名號就是「LSTM 之父」了:早在 1997 年,他和 Sepp Hochreiter 共同撰寫了一篇論文,其中提出了一種利用記憶功能來增強人工神經網絡(模擬人類大腦的計算機系統)的方法,即根據之前獲得的信息,添加解釋文字或圖像模式的循環。他們稱之為「長短期記憶(LSTM)」。


LSTM 解決 RNN 存在的短板,在隨后的多年中被人們廣泛采用。然而遺憾的是,當時 LSTM 也并沒有受到業界更多的重視,在 1995 年,首個論述 LSTM 的論文被著名的 NIPS 會議拒絕了。1997 年,關于 LSTM 的論文被麻省理工學院退稿。「即便是美國、加拿大及其他地區的著名的神經網絡專家,都沒能意識到我們自 1990 年代起于高山上實驗室研發的深度循環神經網絡的潛能。」Schmidhuber 多次在媒體采訪時表露出遺憾。


語音識別最重要的模型之一——Connectionist temporal classification(CTC),是由 Graves、Schmidhuber 等人在 2006 年提出的,該論文出現在 2006 年的 ICML 上。CTC 是一種改進的 RNN 模型,可以讓網絡自動學會對齊,十分適合語音識別和書寫識別。


Jurgen 貢獻的重要研究還不止于此。2018 年,由谷歌大腦研究科學家 David Ha 與瑞士 AI 實驗室 IDSIA 負責人 Jürgen Schmidhuber 共同提出的「世界模型」再次吸引了人們的注意。這是一種可以讓人工智能在「夢境」中對外部環境的未來狀態進行預測的新方法,而論文的名字也非常霸氣:

微信圖片_20190329142441.jpg


今天人工智能的形態,是由眾多學者共同打造的。在恭喜三巨頭獲得圖靈獎的同時,不要忘了另外一些人的貢獻。


最后,網友實力「皮」了一波:兩彈元勛黃仁勛是不是離圖靈獎也不遠了……


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 久久久久久综合成人精品 | 亚洲一区免费看 | 中文字幕在线精品视频入口一区 | 成人福利在线观看 | 欧美精品白嫩bbwbbwbbw | 欧美一级淫片a免费播放口aaa | 中国大陆毛片 | 成人影院在线看 | 亚洲综合小视频 | 日日摸夜夜爽夜夜爽出水 | 免费的黄网站 | 亚洲一级免费毛片 | 三级福利| 美日韩免费视频 | 午夜大片免费完整在线看 | 男女男在线观看视频网站 | 涩涩精品 | a级男女性高爱潮高清试 | 2021国产精品自拍 | 怡红院免费全部视频在线视频 | 天天摸天天做天天爽 | 6080私人午夜性爽快影院 | 国产成人午夜精品5599 | 免费一级在线观看 | 韩国伦理片在线免费观看 | 免费观看60秒做受视频 | 亚洲综合小视频 | 国产免费色视频 | 一个人看www在线视频 | 日本特黄特色aaa大片免费欧 | 日韩一区二区不卡中文字幕 | 国产欧美在线一区二区三区 | 国产亚洲欧美在线观看的 | 人人爽天天爽 | 国产精选莉莉私人影院 | 国产亚洲综合一区 柠檬导航 | 色噜噜狠狠成人网 | 色综合天天综合中文网 | 国产h在线播放 | 99re在线视频免费观看 | 色一色综合 |