谷歌DeepMind團(tuán)隊(duì)在最新一期《Nature》上發(fā)表論文稱，他們研發(fā)的人工智能算法擊敗了歐洲圍棋冠軍Fan Hui，同時(shí)也擊敗了目前最好的圍棋程序中99.8%的對(duì)手。而幫助他們解決這個(gè)人工智能歷史難題的關(guān)鍵是使用了政策網(wǎng)絡(luò)(policy network)和價(jià)值網(wǎng)絡(luò)(value network)兩種深度神經(jīng)網(wǎng)絡(luò)。而就在前一天，F(xiàn)acebook也在arXiv.org上更新了一篇用卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索相結(jié)合來解決圍棋問題的新、論文。并且，公司人工智能實(shí)驗(yàn)室負(fù)責(zé)人Yann LeCun在自己的FB主頁上針對(duì)谷歌和Facebook的研究發(fā)表了一段非常精彩的說明。

　　谷歌DeepMind團(tuán)隊(duì)發(fā)表Nature封面論文，贏得圍棋人工智能挑戰(zhàn)

　　在邁向搭建具有更類似人類直覺的人工智能道路上，谷歌取得了出乎意料的輝煌一步;他們研發(fā)出能夠在極其復(fù)雜的圍棋游戲中擊敗專家級(jí)人類選手的計(jì)算機(jī)。他們將論文發(fā)表在了《Nature》上。

　　谷歌團(tuán)隊(duì)已經(jīng)表明，掌握圍棋所需技能并不為人類獨(dú)享。他們的一款叫做Alpha Go的計(jì)算機(jī)程序擊敗了歐洲圍棋冠軍Fan Hui，戰(zhàn)績(jī)?yōu)?:0。Alpha Go的下一個(gè)挑戰(zhàn)將是世界頂級(jí)圍棋選手之一，李世乭，比賽將于三月份在首爾舉行。

　　開發(fā)Alpha Go的團(tuán)隊(duì)是Google的DeepMind，這是2014年Google在英國收購的一家很小的人工智能公司。這個(gè)團(tuán)隊(duì)使用的是一種非常流行和成功的機(jī)器學(xué)習(xí)方法，叫做深度學(xué)習(xí)，同時(shí)還加上了另一種模擬技術(shù)來對(duì)潛在的步法進(jìn)行建模。深度學(xué)習(xí)需要對(duì)一個(gè)大型的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其對(duì)數(shù)據(jù)中的模式做出反應(yīng)。事實(shí)還證明，它對(duì)圖像和音頻處理也十分有用。許多大型科技公司都在探索新方法來使用這種技術(shù)。

　　要想掌握圍棋，需要不斷實(shí)踐練習(xí)，也需要識(shí)別棋子布局中微妙模式的巧妙本事。

　　DeepMind團(tuán)隊(duì)表示，Alpha Go的關(guān)鍵在于使用的深度神經(jīng)網(wǎng)絡(luò)，實(shí)際上，在Alpha Go中有兩種不同的神經(jīng)網(wǎng)絡(luò)，第一種叫做政策網(wǎng)絡(luò)(policy network)，用來預(yù)測(cè)下一步;第二種叫做價(jià)值網(wǎng)絡(luò)(value network)，用來預(yù)測(cè)棋盤上不同的分布會(huì)帶來什么不同的結(jié)果。Alpha Go使用它們的方法是，把非常復(fù)雜的搜索樹減少到可操作的規(guī)模。所以，它并不是在每一步都要考慮幾百種步數(shù)，而只考慮政策網(wǎng)絡(luò)提供的幾十種最有前景的步法，價(jià)值網(wǎng)絡(luò)的作用是減少搜索的深度，所以，它的搜索深度并不是特別深，它并不是一下子搜索出直達(dá)比賽末尾的300多步，而是搜索更少的步數(shù)，比如20多步，并評(píng)估這些位置，而不是一路評(píng)估到底，看誰最終能贏。搜索并不是靠蠻力，而是與某種與想象力很相似的東西。

　　領(lǐng)導(dǎo)這項(xiàng)研究的另一位Google研究者David Silver說：“圍棋有著巨大的搜索空間，用蠻力很難解決。Alpha Go的關(guān)鍵在于，將搜索空間縮小到可以操作的范圍。這個(gè)方法讓Alpha Go比以前的方法都更像人類。”

　　Demis Hassabis說，圍棋是人類發(fā)明的最復(fù)雜也是最美的游戲。通過戰(zhàn)勝Fan Hui，「我們的程序贏得了長(zhǎng)期以來一項(xiàng)重大人工智能挑戰(zhàn)的勝利。而這項(xiàng)技術(shù)在Google的首個(gè)用途將是開發(fā)更好的個(gè)人助理軟件。這樣的個(gè)人助理能夠從用戶在線行為中學(xué)習(xí)用戶偏好，并對(duì)產(chǎn)品和事件作出更符合直覺的建議。

　　Hassabis還說道，他們用來創(chuàng)造Alpha Go的技術(shù)，也正是他的團(tuán)隊(duì)努力開發(fā)強(qiáng)人工智能的嘗試。他說：“最終，我們想要將這些技術(shù)應(yīng)用到真實(shí)世界的重要問題中。因?yàn)槲覀冇玫姆椒ㄊ峭ㄓ玫?，我們希望有一天，它們能延伸得更廣，幫助解決最緊迫的社會(huì)問題，從醫(yī)藥診斷到環(huán)境模型。”

　　實(shí)際上在幾年前，大多數(shù)圍棋選手和棋類程序員都相信，圍棋實(shí)在是太困難了，必須要花上幾十年的時(shí)間，計(jì)算機(jī)才能達(dá)到人類專業(yè)棋手的標(biāo)準(zhǔn)水平。對(duì)計(jì)算機(jī)來說，圍棋比象棋的挑戰(zhàn)更大，原因有二：每個(gè)回合可能存在的走法數(shù)量多得多，沒有一個(gè)簡(jiǎn)單的方法來測(cè)算優(yōu)勢(shì)。所以，棋手只能學(xué)著在棋盤上幾百個(gè)棋子中識(shí)別出抽象模式。即使是專家也經(jīng)常會(huì)很難解釋為什么一步棋看起來很有優(yōu)勢(shì)或有問題。

　　眾專家的評(píng)價(jià)

　　1997年，當(dāng)IBM深藍(lán)計(jì)算機(jī)在象棋上稱霸時(shí)，它使用的是手工編碼的規(guī)則，在搜索時(shí)將窮盡所有可能發(fā)生的步法。Alpha Go從本質(zhì)上則是隨著時(shí)間而學(xué)習(xí)的，可以識(shí)別出可能具有優(yōu)勢(shì)的模式，然后模擬出數(shù)量有限的潛在結(jié)果。

　　Google的成就受到了廣泛的祝賀，也引起了許多本領(lǐng)域研究者的驚訝。

　　新成立的非營利性組織OpenAI的AI研究者Ilya Sutskever說：“從技術(shù)的角度說，這個(gè)研究對(duì)AI具有紀(jì)念碑式的貢獻(xiàn)。”他說，這個(gè)成果非常重要，因?yàn)锳lpha Go從本質(zhì)上教會(huì)了自己如何贏得比賽。“同樣的技術(shù)也可以用于其他棋類游戲中，以獲得高超表現(xiàn)。”

　　加拿大阿爾伯塔大學(xué)的計(jì)算機(jī)科學(xué)教授Michael Bowling最近開發(fā)了一個(gè)能在撲克牌上贏過人類的程序。他聽到這個(gè)消息也很興奮。他相信，這個(gè)方法在許多可以運(yùn)用機(jī)器學(xué)習(xí)的領(lǐng)域都很有用。他說：“許多我們通常認(rèn)為是人類智能的東西其實(shí)都構(gòu)建于模式匹配上。許多被我們看做學(xué)習(xí)的東西，其實(shí)都是在過去看到了某些模式，然后意識(shí)到它們與現(xiàn)在的狀況有何聯(lián)系。”

　　紐約大學(xué)認(rèn)知教授Gary Marcus說：“這不是所謂的端對(duì)端深度學(xué)習(xí)系統(tǒng)。而是精心建構(gòu)的模塊化系統(tǒng)，在前端具有一些縝密的手工操作，也就是說，幾乎媲美人類心智：豐富，模塊化，通過演化做出些微調(diào)整，而不僅僅是一束隨機(jī)互聯(lián)的神經(jīng)元，完全通過經(jīng)驗(yàn)做出調(diào)整。”

　　Facebook不甘示弱：提前發(fā)表論文，LeCun精彩回應(yīng)

　　而就在國外媒體對(duì)谷歌這篇論文進(jìn)行大規(guī)模報(bào)道之前，F(xiàn)acebook人工智能實(shí)驗(yàn)室(以下簡(jiǎn)稱FAIR)負(fù)責(zé)人Yann LeCun也非常“巧合”地在自己Facebook主頁貼出了Facebook剛剛發(fā)表在arXiv.org的一篇針對(duì)圍棋問題的論文，還意味深長(zhǎng)的從圍棋問題的歷史、相關(guān)技術(shù)、Facebook研究進(jìn)展等方面進(jìn)行了詳細(xì)說明。

　　首先，Yann LeCun解釋了我們?yōu)槭裁匆芯繃?他說，作為一項(xiàng)非常困難的任務(wù)，圍棋是一個(gè)很好的案例來驗(yàn)證各種學(xué)習(xí)技能的結(jié)合，包括模式識(shí)別、問題解決和規(guī)劃等，也是一個(gè)可以用來測(cè)試新想法的工具，包括機(jī)器學(xué)習(xí)、推理和規(guī)劃的結(jié)合。

　　Yann LeCun說，F(xiàn)acebook FAIR的一位科學(xué)家Yuandong在幾個(gè)月前開始獨(dú)立研究圍棋項(xiàng)目，他開發(fā)了一款叫做「黑暗森林」的機(jī)器人。根據(jù)論文中的描述，最新版機(jī)器人將卷積神經(jīng)網(wǎng)絡(luò)和目前圍棋機(jī)器人的經(jīng)典方法——蒙特卡洛樹搜索進(jìn)行了有機(jī)結(jié)合。

　　此前，曾在2014年東京圍棋擂臺(tái)賽上通過讓子以微弱優(yōu)勢(shì)戰(zhàn)勝人類棋手的Crazy Stone就是依賴于蒙特卡洛樹搜索，這是一套能夠從本質(zhì)上對(duì)每一步走法的所有結(jié)果都進(jìn)行分析的系統(tǒng)。所以，有些機(jī)器能夠非常精通西洋棋、國際象棋和其他棋類。它們比人類棋手看的更遠(yuǎn)，所以能夠輕松的擊敗他們。但圍棋不是這樣，下圍棋有太多的可能性需要考慮。在國際象棋的任何一個(gè)回合，平均可能的走法有35種。但圍棋的走法卻能達(dá)到250種。并且在這250種可能的走法之后，還對(duì)應(yīng)著另外250種可能，以此類推。因此，用蒙特卡洛數(shù)搜索去計(jì)算每一步走法所帶來的所有結(jié)果是不可能的。

　　從Facebook的研究成果可以看出，通過將訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索的結(jié)合，我們可以在模式匹配功能上再加入策略評(píng)估這個(gè)新功能。這也將有益于游戲之外的其他應(yīng)用，比如說自然語言生成，在回復(fù)中能夠加上自發(fā)性和多樣性，同時(shí)也能進(jìn)行推理，而推理所需要的就是搜索可能的答案并挑選出最優(yōu)的邏輯鏈。我們的興趣并不在于要開發(fā)出世界上最好的圍棋選手，但這是我們?nèi)斯ぶ悄苎芯窟M(jìn)展的一次有趣練習(xí)。

　　從去年11月起，DarkForest就已經(jīng)在公開的圍棋服務(wù)器KGS上擊敗了一些人類選手和其他圍棋機(jī)器人。DarkForest的第一版完全是基于卷積神經(jīng)網(wǎng)絡(luò)。通過有監(jiān)督模式的訓(xùn)練讓它來「模仿」人類選手。我們使用了大量人類專業(yè)選手比賽錄像的數(shù)據(jù)庫，然后將比賽的棋盤格局輸入到卷積神經(jīng)網(wǎng)絡(luò)中，以此來訓(xùn)練它預(yù)測(cè)人類選手的下一步走法。這需要大規(guī)模卷積神經(jīng)網(wǎng)絡(luò)，它的輸入是一個(gè)帶有注釋的完整的19×19圍棋棋盤，而神經(jīng)網(wǎng)絡(luò)輸出的是一個(gè)代表著人類專業(yè)棋手每一步走法概率分布的棋盤地圖。這充分利用了卷積神經(jīng)網(wǎng)絡(luò)的模式識(shí)別能力，而這種能力在圖像中的物體識(shí)別、人臉識(shí)別和語音識(shí)別方面的成功早就得到了證明。

　　LeCun表示，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圍棋的想法要追溯到很久之前的1994年，Nicol Schraudolph及合作者共同在NIPS上發(fā)表了一篇論文，將卷積神經(jīng)網(wǎng)絡(luò)和增強(qiáng)學(xué)習(xí)結(jié)合起來應(yīng)用于圍棋問題研究。但當(dāng)時(shí)對(duì)這些技術(shù)的理解還不夠深入，而且那時(shí)的計(jì)算機(jī)限制了可以被訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)的規(guī)模和復(fù)雜性。近期，多倫多大學(xué)的博士生Chris Maddison與Google DeepMind的研究者在ICLR 2015上共同發(fā)表了一篇論文，文章中提到，用比賽視頻數(shù)據(jù)庫訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)能夠在預(yù)測(cè)走法上擁有優(yōu)秀表現(xiàn)。愛丁堡大學(xué)Amos Storkey團(tuán)隊(duì)發(fā)表在ICML上的論文同樣體現(xiàn)出這個(gè)結(jié)果。許多研究者開始相信，或許深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)真正能夠在圍棋上有所作為。Amos Storkey說：“圍棋是由棋盤上的各種模式來驅(qū)動(dòng)，深度神經(jīng)網(wǎng)絡(luò)非常擅長(zhǎng)從棋盤的各種模式中進(jìn)行歸納總結(jié)，因此非常合適下圍棋。”

　　這就是促使Yuandong將第一版黑暗森林發(fā)布在KGS服務(wù)器上的原因，此后，一個(gè)更加先進(jìn)的版本很快攀升到了KGS服務(wù)器上的第三名，遠(yuǎn)好于之前的研究。這項(xiàng)排名要好于大多數(shù)開源程序，即便是人類棋手，也需要花費(fèi)幾年時(shí)間才能達(dá)到這個(gè)水平。人類棋手喜歡和它對(duì)弈的原因在于它的走法非常像人類棋手。但同時(shí)它又非常擅長(zhǎng)作戰(zhàn)策略。贏下局部和策略有關(guān)的戰(zhàn)爭(zhēng)有時(shí)需要非常具體的探索，而非單純的模式識(shí)別。

　　很明顯，通過將卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索的結(jié)合可以提升程序在策略方面的能力。在過去五年中，計(jì)算機(jī)圍棋程序通過蒙特卡洛樹搜索取得了很大進(jìn)步。蒙特卡洛樹搜索是一種應(yīng)用于計(jì)算機(jī)國際象棋程序中的樹形搜索方法的“隨機(jī)”版本。INRIA的法國研究者團(tuán)隊(duì)第一次提出了蒙特卡洛樹搜索。之后，這種方法很快在幾個(gè)最好的計(jì)算機(jī)圍棋團(tuán)隊(duì)中流傳開來，并變成開發(fā)頂級(jí)圍棋機(jī)器人所需要的標(biāo)準(zhǔn)方法。

　　今天發(fā)布的新論文描述了DarkForest的最新版本，被稱作黑暗森林3，它使用了卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索的結(jié)合。這個(gè)程序已經(jīng)在KGS服務(wù)器上運(yùn)營了一個(gè)多月，并取得了成人組第五的排名。這個(gè)排名意味著它已經(jīng)成為全美國最好的前100名選手之一，也步入了世界最頂尖圍棋機(jī)器人之列。

　　有趣的是，這個(gè)項(xiàng)目是由我們一個(gè)小團(tuán)隊(duì)僅花了幾個(gè)月時(shí)間開發(fā)出來的，沒有投入任何圍棋專家資源(當(dāng)然，除了比賽錄像數(shù)據(jù)庫)。這是對(duì)機(jī)器學(xué)習(xí)威力的一次偉大證明。

　　接下來明智的選擇是將卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索與增強(qiáng)學(xué)習(xí)結(jié)合起來，就像Nicol Schraudolph的開創(chuàng)性研究。使用增強(qiáng)學(xué)習(xí)的優(yōu)勢(shì)在于可以讓機(jī)器自己與自己對(duì)戰(zhàn)連續(xù)玩很多次游戲，自己訓(xùn)練自己。這個(gè)想法可以追溯到Gerry Tesauro的“NeuroGammon“，一個(gè)二十世紀(jì)九十年代的計(jì)算機(jī)西洋雙陸棋程序，它將神經(jīng)網(wǎng)絡(luò)和增強(qiáng)學(xué)習(xí)結(jié)合了起來，并打敗了這款游戲的世界冠軍。我們知道，世界范圍內(nèi)的幾個(gè)團(tuán)隊(duì)正在積極研究這一系統(tǒng)。我們的系統(tǒng)仍處在開發(fā)中。

　　Yann LeCun最后的結(jié)尾非常有深意：

　　Facebook對(duì)研究的態(tài)度素來是“盡早發(fā)布，時(shí)常發(fā)布”，以此詮釋開源軟件世界頗受歡迎的座右銘。我們的圍棋機(jī)器人系統(tǒng)已經(jīng)運(yùn)營在KGS服務(wù)器上，我們的論文已于早些時(shí)候發(fā)表在 arXiv.org。我們認(rèn)為，當(dāng)研究團(tuán)隊(duì)彼此迅速交換研究成果并以彼此研究為基礎(chǔ)來推進(jìn)研究時(shí)，科學(xué)會(huì)進(jìn)步的更快。

　　谷歌和Facebook的圍棋軍備之爭(zhēng)

　　谷歌和Facebook正在開展一場(chǎng)破解圍棋的算法競(jìng)賽。此前，F(xiàn)acebook一名研究員Rob Fergue認(rèn)為，“圍棋就是高級(jí)人工智能的目標(biāo)。”同時(shí)他也承認(rèn)，F(xiàn)acebook此舉至少在小范圍內(nèi)是在與谷歌進(jìn)行競(jìng)爭(zhēng)。谷歌的圍棋研究令人印象深刻。

　　如今，谷歌和Facebook使用深度學(xué)習(xí)來識(shí)別網(wǎng)絡(luò)圖片中的人臉;計(jì)算機(jī)能夠識(shí)別出我們的語音命令;可以將一種語言翻譯成另一種;有時(shí)甚至能夠理解人類的自然語言。

　　這些技術(shù)都依賴于深度神經(jīng)網(wǎng)絡(luò)。如果你將足夠多的關(guān)于樹木的照片輸入進(jìn)去，它們就能學(xué)會(huì)識(shí)別出一棵樹。如果輸入足夠多的對(duì)話，它們就能學(xué)會(huì)如何進(jìn)行一段得體的對(duì)話。如果輸入足夠多的圍棋走法，它們就能學(xué)會(huì)下圍棋。

　　“圍棋是由棋盤上的各種模式來驅(qū)動(dòng)，深度神經(jīng)網(wǎng)絡(luò)非常擅長(zhǎng)從棋盤的各種模式中進(jìn)行歸納總結(jié)，因此非常合適下圍棋。”愛丁堡大學(xué)教授 Amos Storkey表示。他正在使用深度神經(jīng)網(wǎng)絡(luò)來處理圍棋問題，就像谷歌和Facebook所做的那樣。

　　他們相信這些神經(jīng)網(wǎng)絡(luò)最終能夠縮小機(jī)器和人類之間的差距。在下圍棋時(shí)，即使是最高段的棋手也無法檢查出每一步走法所帶來的所有結(jié)果。他們往往是基于盤面來進(jìn)行決策。借助于深度學(xué)習(xí)，研究者就可以對(duì)這種方法進(jìn)行復(fù)制。將成功走法的圖片輸入到神經(jīng)網(wǎng)絡(luò)中，從而幫助機(jī)器掌握每一次成功走法的模樣。“這種方法并不是希望找出最優(yōu)走法，而是學(xué)習(xí)人類的下棋風(fēng)格，然后對(duì)人類棋手進(jìn)行有效的復(fù)制。”Storkey說到。

　　谷歌和Facebook交戰(zhàn)過程如下(美國當(dāng)?shù)貢r(shí)間)：

　　1)2015年11月，F(xiàn)acebook在Arxiv發(fā)表論文，提到了一種將蒙特卡洛數(shù)搜索與深度學(xué)習(xí)相結(jié)合的方法，這套系統(tǒng)在與人類棋手的比賽中絲毫不落下風(fēng)，公司表示，它甚至能夠表現(xiàn)出人類般的下棋風(fēng)格。畢竟，這套系統(tǒng)是從人類棋手的棋路中進(jìn)行學(xué)習(xí)的。RÉMI COULOM Coulom稱這項(xiàng)結(jié)果“非常驚人”。

　　2)2015年12月初，谷歌DeepMind創(chuàng)始人Hassabis在接受視頻采訪被問到“或許你們會(huì)在圍棋上有所突破?”Hassabis笑著說：“我現(xiàn)在不能談?wù)撨@件事，但是幾個(gè)月后，我相信會(huì)出現(xiàn)一個(gè)大驚喜。”

　　3)2016年1月26日，F(xiàn)acebook對(duì)去年11月發(fā)表的論文《Better Computer Go Player with Neural Network and Long-term Prediction》進(jìn)行了更新，Yann LeCun在個(gè)人Facebook主頁發(fā)表長(zhǎng)篇聲明。

　　4)2016年1月27日，谷歌DeepMind在《Nature》發(fā)表論文。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。