揭秘谷歌棋類AI項目AlphaZero 它到底厲害在哪兒

　　2016 年，谷歌的人工智能程序擊敗了世界上最好的圍棋選手李世石(Lee Sedol)，這場比賽吸引超過 1 億人觀看

　　1 月 2 日消息，據(jù)外媒報道，幾周前，谷歌人工智能(AI)子公司 DeepMind 的研究人員在《科學(xué)》(Science)雜志上發(fā)表論文，描述了 AI 在游戲中的應(yīng)用潛力。雖然他們的 AI 系統(tǒng)是通用的，可以用于許多雙人游戲，但研究人員將其專門用于圍棋、國際象棋和日本象棋。除了每種游戲的規(guī)則之外，它沒有被輸入其他任何知識。

　　最初的時候，這種 AI 系統(tǒng)只是隨機(jī)下子。隨后，它開始通過自我游戲來學(xué)習(xí)棋路。在九個小時的訓(xùn)練過程中，該程序的國際象棋版本在大量專門的谷歌硬件上與自己進(jìn)行了 4400 萬場比賽。兩個小時后，它的表現(xiàn)開始好于人類選手;四小時后，它擊敗了世界上最好的國際象棋引擎。

　　這個項目名為 AlphaZero，它是從 AlphaGo 基礎(chǔ)上發(fā)展而來的。AlphaGo 也是一種 AI，因在 2016 年 3 月?lián)魯×耸澜缟献詈玫膰暹x手李世石(Lee Sedol)而聞名于世。今年早些時候在 Netflix 上播放的紀(jì)錄片《AlphaGo》中，制片人跟蹤了開發(fā)這款 AI 的團(tuán)隊及其人類陪練，他們將畢生精力都投入到了這款游戲中。

　　我們看著這些人經(jīng)歷了一種新的悲傷。起初，他們不認(rèn)為人類會輸給機(jī)器，李世石在在與 AlphaGo 進(jìn)行五場比賽的前一天說：“我認(rèn)為，人類的直覺仍然非常有用，AI 無法趕超。”可是當(dāng)機(jī)器開始獲勝的時候，一種恐慌感油然而生。在一個特別令人痛心的時刻，李世石在輸?shù)舻谝粓霰荣惡蟪惺芰司薮髩毫Γ麖钠灞P后面站了起來，不顧比賽時間限制，走到外面去抽煙。他站在首爾高樓的屋頂上往外看。

　　與此同時，AlphaGo 不知道它的對手已經(jīng)去了其他地方，依然走出了評論員所謂的“創(chuàng)造性、令人驚訝的棋路”。最后，李世石以1:4 的比分輸?shù)袅吮荣悾@讓他感覺非常沮喪。在一次新聞發(fā)布會上說，李世石承認(rèn)：“我想為我的無能道歉。”最終，李世石和圍棋社區(qū)的其他成員開始欣賞這臺機(jī)器。他說：“我認(rèn)為這將帶來一種新的范式改變。”歐洲圍棋冠軍范輝對此表示贊同，他指出：“也許 AlphaGo 可以向人類展示一些我們從未發(fā)現(xiàn)過的東西。也許它很美!”

　　對于 AlphaGo 的開發(fā)者來說，這的確是一場勝利，但仍然不令人滿意，因?yàn)?AlphaGo 在很大程度上依賴于人類的圍棋專業(yè)知識。在某種程度上，AI 通過模仿世界級旗手的棋路來積累經(jīng)驗(yàn)。它還使用了手工編碼的啟發(fā)式方法，以避免 AI 在游戲中思考未來棋路時出現(xiàn)最嚴(yán)重的錯誤。對于開發(fā) AlphaGo 的研究人員來說，這些知識就像是一根“拐杖”。為此，他們開始建造新版本的 AI，它可以自學(xué)，并獨(dú)創(chuàng)出自己的棋路。

　　2017 年 10 月，DeepMind 研究人員發(fā)表論文中詳細(xì)介紹了這一成果，之所以稱新的 AI 系統(tǒng)為“AlphaGo Zero”，是因?yàn)樗鼘Τ藝逡?guī)則外一無所知。這個新項目的知名度要低得多，但從某種意義上說，這是一項更了不起的成就，盡管這一成就與圍棋沒有多大關(guān)系。事實(shí)上，不到兩個月后，DeepMind 發(fā)表了第三篇論文的預(yù)印本，表明 AlphaGo Zero 背后的算法可以推廣到任何兩人、零和的完美信息游戲(即不存在隱藏元素的游戲)中。

　　DeepMind 去掉了 AlphaGo 名字中的“Go”，并給它的新系統(tǒng)命名為 AlphaZero。它的核心是一種強(qiáng)大的算法，你可以給它提供被人類研究得最透徹、經(jīng)驗(yàn)最豐富的游戲規(guī)則，然后那天晚些時候，它將成為有史以來最好的玩家。也許更令人驚訝的是，這個系統(tǒng)的迭代也是迄今為止最簡單的。

　　典型的國際象棋引擎堪稱是個大雜燴，需要經(jīng)過幾十年基于嘗試和錯誤進(jìn)行調(diào)整。世界上最好的國際象棋引擎 Stockfish 是開源的，它通過被稱為“達(dá)爾文式選擇”變得越來越好：即有人提出一個想法，成千上萬的游戲來驗(yàn)證這個想法，最好的版本最終會勝出。因此，它可能不是特別優(yōu)雅的程序，而且程序員可能很難理解。

　　程序員對 Stockfish 所做的許多改變最好是從國際象棋而不是計算機(jī)科學(xué)的角度來表述，他們更多關(guān)注如何在棋盤上評估給定的情況：騎士應(yīng)該值 2.1 分還是 2.2 分?如果它是在第三等級，而對手有個相反顏色的主教呢?為了說明這一點(diǎn)，DeepMind 的研究主管大衛(wèi)·西爾弗(David Silver)曾在 Stockfish 中列出了移動策略。

　　它們有五十多個步驟，每種都需要大量編碼，每一個都是來之不易的國際象棋奧秘：反移動啟發(fā)式(Counter Move Heuristic)、已知結(jié)束游戲數(shù)據(jù)庫、疊兵(Doubled Pawns)和抽將(Trapped Pieces)等評估模塊、搜索可能移動旗子的策略等。

　　相比之下，AlphaZero 只有兩個部分：一個神經(jīng)網(wǎng)絡(luò)和一個被稱為 Monte Carlo Tree Search(MCTS)的算法。人們常說，MCTS 算法背后的理念是，像國際象棋這樣的棋類游戲?qū)嶋H上是一棵充滿了各種可能性的樹。如果我把車移到 d8 位置，你可以抓住它，或者隨它去，這時我可以移動兵、移動主教或者保護(hù)我的王后……

　　問題是，這棵樹變得難以置信的大，難以置信的快。任何計算能力都不足以徹底地搜索它。專業(yè)的人類玩家之所以是專家，正是因?yàn)樗拇竽X能自動識別出樹的基本部分，并將注意力集中在其上。而計算機(jī)想要競爭，必須以某種方式做同樣的事情。

　　國際象棋評論員對 AlphaZero 的表現(xiàn)贊不絕口

　　這就是神經(jīng)網(wǎng)絡(luò)的作用所在。AlphaZero 的神經(jīng)網(wǎng)絡(luò)作為輸入，接收游戲最后幾步的棋盤布局。作為輸出，它估計了當(dāng)前玩家獲勝的可能性，并預(yù)測了當(dāng)前可用的哪些棋路可能效果最好。MCTS 算法使用這些預(yù)測來確定樹上的重點(diǎn)位置。例如，如果網(wǎng)絡(luò)猜測“騎士干掉主教”可能是一步好棋，那么 MCTS 將投入更多時間來探索這步棋的后果。

　　起初，指導(dǎo)搜索的神經(jīng)網(wǎng)絡(luò)顯得相當(dāng)笨，它或多或少地隨機(jī)做出預(yù)測。結(jié)果，MCTS 在集中于樹的重要部分方面做得非常糟糕。但 AlphaZero 的天賦在于它的學(xué)習(xí)方式。它需要兩個部分的工作，并使它們彼此磨練。即使一個愚蠢的神經(jīng)網(wǎng)絡(luò)在預(yù)測哪些動作會起作用方面做得不好，在博弈樹中向前看仍然很有用。例如，在游戲結(jié)束時，MCTS 仍然可以學(xué)習(xí)哪些位置實(shí)際上會促使勝利，至少在某些時候是這樣的。

　　這些知識可以用來改進(jìn)神經(jīng)網(wǎng)絡(luò)。當(dāng)游戲結(jié)束時，你知道結(jié)果，你看神經(jīng)網(wǎng)絡(luò)對每個位置的預(yù)測，并將其與實(shí)際發(fā)生的情況進(jìn)行比較。然后，你可以通過調(diào)整神經(jīng)網(wǎng)絡(luò)的突觸連接來“校正”神經(jīng)網(wǎng)絡(luò)，直到它找到獲勝幾率更大的棋路。本質(zhì)上，MCTS 的所有搜索都被提煉成神經(jīng)網(wǎng)絡(luò)的新權(quán)值。當(dāng)然，有了個稍微好點(diǎn)兒的網(wǎng)絡(luò)，搜索就不那么容易被誤導(dǎo)了，這使它能夠更好地搜索，從而為訓(xùn)練網(wǎng)絡(luò)提取更好的信息。就這樣，在一個反饋回路中，它的能力會不斷提高。

　　當(dāng) AlphaGoZero 和 AlphaZero 的論文發(fā)表時，有些棋類愛好者開始在博客文章和 YouTube 視頻中描述該系統(tǒng)，并構(gòu)建他們自己的模仿版。這項工作的大部分都是解釋性的，它源于業(yè)余愛好者對學(xué)習(xí)和分享的渴望，這種沖動最初導(dǎo)致了網(wǎng)絡(luò)的出現(xiàn)。但是，為了大規(guī)模地復(fù)制這項工作，還需要其他努力。畢竟，DeepMind 的論文只描述了世界上最偉大的圍棋和國際象棋程序，它們沒有包含源代碼，該公司也沒有向玩家提供這些程序。在宣布勝利后，它的工程師們已經(jīng)離開了戰(zhàn)場。

　　曾在 Mozilla 公司工作的計算機(jī)程序員吉安-卡洛·帕斯卡托(Gian-Carlo Pascutto)，在構(gòu)建有競爭性游戲引擎方面有著良好的記錄，首先是國際象棋，然后是圍棋。他跟蹤最新的研究。隨著將 MCTS 和神經(jīng)網(wǎng)絡(luò)相結(jié)合成為圍棋 AI 領(lǐng)域的最新技術(shù)，帕斯卡托創(chuàng)建了世界上最成功的開源圍棋引擎，首先是 Leela，然后是 LeelaZero，這也反映了 DeepMind 的進(jìn)步。

　　問題在于，DeepMind 可以訪問谷歌龐大的云計算平臺，但帕斯卡托卻沒有。為了訓(xùn)練自己的圍棋引擎，DeepMind 使用了 5000 個谷歌的“張量處理單元”(TPU)13 天，它們是專門為神經(jīng)網(wǎng)絡(luò)計算設(shè)計的芯片。而為了在桌面系統(tǒng)上做同樣的工作，帕斯卡托必須運(yùn)行自己的程序 1700 年才能取得同樣的效果。

　　為了彌補(bǔ)計算能力的不足，帕斯卡托分發(fā)了這項工作。LeelaZero 是個分布式系統(tǒng)，即任何想要參與的人都可以下載最新版本，將他擁有的任何計算能力貢獻(xiàn)出來，并上傳自己生成的數(shù)據(jù)，這樣系統(tǒng)就可以稍加改進(jìn)。分布式的 LeelaZero 社區(qū)已經(jīng)讓他們的系統(tǒng)與自己玩了 1000 多萬場游戲，比 AlphaGo Zero 略多一點(diǎn)兒。它現(xiàn)在是現(xiàn)有的最強(qiáng)大的圍棋引擎之一。

　　沒過多久，這個想法就擴(kuò)展到國際象棋上。2017 年 12 月，當(dāng) AlphaZero 預(yù)印本出版時，加里·林斯科特(Gary Linscott)說：“它就像一顆炸彈擊中了社區(qū)。”林斯科特是從事 Stockfish 研究的計算機(jī)科學(xué)家，他使用了現(xiàn)有的 LeelaZero 代碼庫，以及 AlphaZero 論文中的新思想，創(chuàng)建了 LeelaChessZero。

　　關(guān)于 DeepMind 團(tuán)隊在他們的論文中遺漏的細(xì)節(jié)，有些問題需要解決，也有些經(jīng)驗(yàn)猜測，但在幾個月內(nèi)，這個神經(jīng)網(wǎng)絡(luò)就開始改進(jìn)了。國際象棋界已經(jīng)癡迷于 AlphaZero：Chess.com 上的帖子慶祝了這款引擎的誕生，評論員和特級大師仔細(xì)研究了 DeepMind 在論文中發(fā)布的幾款 AlphaZero 游戲，宣稱“國際象棋就應(yīng)該這么玩”。

　　很快，就像 Leela Chess Zero 的名字一樣，Lc0 吸引了數(shù)以百計的志愿者。由于他們貢獻(xiàn)了他們的計算機(jī)能力和改進(jìn)的源代碼，引擎變得更好用。如今，一位核心撰稿人懷疑，距離趕超 Stockfish 只有幾個月的時間了。不久之后，它可能會變得比 AlphaZero 本身更好。

　　當(dāng)我們在電話中交談時，讓林斯科特感到驚奇的是，像他推出的項目，曾經(jīng)需要才華橫溢的博士生幾年的時間，現(xiàn)在卻可以由一個感興趣的業(yè)余人員在幾個月內(nèi)完成。神經(jīng)網(wǎng)絡(luò)的軟件庫只需要幾十行代碼就可以復(fù)制一個世界一流的設(shè)計，在一組志愿者之間分發(fā)計算的工具已經(jīng)存在，而英偉達(dá)等芯片制造商已經(jīng)將價格低廉、功能強(qiáng)大的 GPU(圖形處理芯片)完美地用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并將其投入到數(shù)百萬普通計算機(jī)用戶的手中。像 MCTS 這樣的算法非常簡單，可以在一兩個下午內(nèi)實(shí)現(xiàn)，你甚至不需要是這方面的專家。在創(chuàng)建 LeelaZero 的時候，帕斯卡托已經(jīng)有 20 年沒玩圍棋了。

　　DeepMind 的研究主管大衛(wèi)·西爾弗(David Silver)指出，他的公司最近在游戲方面的工作核心似乎存在一個悖論：程序越簡單(從 AlphaGo 到 AlphaGo Zero 再到 AlphaZero)，它們的表現(xiàn)就越好。他在 2017 年 12 月的一次演講中說：“也許我們追求的原則之一是，通過少做些事情，消除算法的復(fù)雜性，使我們的技術(shù)變得更加通用。”通過去掉圍棋引擎中的圍棋知識，他們開發(fā)出更好的圍棋引擎。同時，它也是可以玩日本象棋和國際象棋的引擎。

　　我們從未想過，事情會變成這樣。1953 年，幫助創(chuàng)造現(xiàn)代計算機(jī)的艾倫·圖靈(Alan Turing)寫了一篇題為《數(shù)字計算機(jī)應(yīng)用于游戲》的短文。在論文中，他開發(fā)了一個國際象棋程序，“基于對我玩棋時思維過程的內(nèi)省分析”。這個程序很簡單，但在它的例子中，簡單并不是一種美德：就像圖靈一樣，他不是個有天賦的棋手，它錯過了游戲的很多深度思考，而且玩得不太好。

　　盡管如此，圖靈猜測，“人不能設(shè)計出比自己玩得更好的游戲機(jī)器”，這個想法是個“相當(dāng)荒謬的觀點(diǎn)”。雖然說“任何動物都不能吞下比自己更重的動物”這句話聽起來是對的，但事實(shí)上很多動物都能做到。類似地，圖靈提出，糟糕的棋手開發(fā)出色的國際象棋程序，可能也不會有矛盾。要做到這一點(diǎn)，一個誘人的方法就是讓這個程序自己去學(xué)習(xí)。

　　AlphaZero 的成功似乎證明了這一點(diǎn)。它有個簡單的結(jié)構(gòu)，但能夠?qū)W習(xí)游戲中最令人驚訝的特征。在 AlphaGo Zero 的文章中，DeepMind 團(tuán)隊展示了他們的 AI 在經(jīng)過訓(xùn)練數(shù)周后，可以找到熟練玩家所熟知的策略，但只在幾個周期后就拋棄了它們。看到人類最好的想法在通往更好的道路上徘徊讓人感覺有點(diǎn)兒怪異，也讓人感到不安：它以一種讓人眼睜睜看著物理機(jī)器超越我們的方式?jīng)_擊著我們。

　　在《科學(xué)》雜志最近的社論中，1997 年曾輸給 IBM“深藍(lán)”計算機(jī)的前國際象棋冠軍加里·卡斯帕羅夫(Garry Kasparov)表示，AlphaZero 的下棋方式并沒有反映出系統(tǒng)性的“程序員優(yōu)先事項和偏見”;相反，盡管它每一步搜索的位置要比傳統(tǒng)引擎少得多，但它以開放、積極的方式發(fā)揮作用，似乎從戰(zhàn)略而不是戰(zhàn)術(shù)的角度考慮問題，就像一個有著不可思議遠(yuǎn)見的人一樣。卡斯帕羅夫?qū)懙溃?ldquo;通過 AlphaZero 的程序本身，我想說它的風(fēng)格反映了事實(shí)。”

　　當(dāng)然，像人一樣下棋和像人一樣思考象棋，或者像人一樣學(xué)習(xí)，并不是一回事。有一句老話說，玩游戲就是 AI 的果蠅，這就像果蠅之于生物學(xué)家、圍棋和國際象棋等游戲之于研究智能機(jī)制的計算機(jī)科學(xué)家，它們都同樣重要。這是個令人回味無窮的類比。然而，下棋的任務(wù)一旦轉(zhuǎn)化為在一棵博弈樹中每秒搜索數(shù)萬個節(jié)點(diǎn)的任務(wù)，所使用的智能可能與我們最關(guān)心的截然不同。

　　以這種方式下國際象棋可能比我們想象的更像地球運(yùn)動：這種活動最終不是我們的強(qiáng)項，因此不應(yīng)該對我們的靈魂那么珍貴。要學(xué)習(xí)，AlphaZero 需要比人類多玩幾百萬個游戲。但當(dāng)它完成時，它就可以像天才那樣去玩。它依靠的攪動速度比人通過深層搜索樹所能做到的更快，然后使用神經(jīng)網(wǎng)絡(luò)將它發(fā)現(xiàn)的東西處理成類似直覺的東西。

　　當(dāng)然，這個項目教會了我們更多關(guān)于智力的新東西。但它的成功也突顯出，世界上最優(yōu)秀的人類玩家可以通過一種非常不同的方式看到更多東西，即除了親身體驗(yàn)外，我們還可以基于閱讀、交談和感覺等方式加以理解。也許最令人驚訝的是，我們?nèi)祟愒谀切┧坪跏菫闄C(jī)器設(shè)計的游戲中表現(xiàn)得同樣好。
　　（邯鄲網(wǎng)絡(luò)公司）