從象棋觀點看AlphaGO為什麼會輸 - 圍棋

原文恕刪...
本文只是要借用一下變化圖來講AlphaGO第四局為什麼會輸所以連標題都換了敬請見諒

相信大家都覺得很好奇...
為什麼AlphaGO前幾盤走的像神 昨天卻整個像是吃了瀉藥一樣整個烙賽？
坦白講...當昨天看到白78以後一段 我不但不意外
反而還覺得很熟悉、很感動...像是喚醒了塵封已久的記憶......

作為一個象棋社社員 十幾年前我就在和電腦學棋了
從早期將族、象棋水滸傳一路玩到後面象棋奇兵、棋天大聖、象棋旋風...
一路玩了差不多快10種棋軟左右吧 可以說自己的棋力完全是電腦教出來的
在這邊亂入介紹一下象棋界的生態...
作為一個以計算為主的棋種 象棋界很早就承認電腦勝過人腦的事實
從十幾年前網路象棋的最高殿堂--弈天棋緣 就已經是電腦ID到處趴趴走了~~~
各位圍棋的棋友...
你可以想像棋城上竟然是各種電腦9D在上面反覆對局刷等級分的場景嗎???
不好意思 這種情形在象棋界早就行之有年了
現在幾乎所有在中國象棋界名列前茅的高手家裡都必備一台伺服器等級的8核心處理器
用來協助拆棋準備佈局...
經過這樣的形容 相信你已經明白電腦在象棋界滲透泛濫的程度

為什麼準備佈局是用拆棋方式進行呢？
主要是因為象棋棋盤只有10x9 很小 加上棋子數量有限
所以從佈局基本上就是用計算為主的方式進行思考...
電腦象棋發展以後 整個象棋佈局像是被暴力破解了一樣
嚴重套路化......
最主流中炮佈局的主要分支基本被拆完 隨便一個分支都深入三四十回合
套路下完可以說就直接下殘局了...
由於中炮的遊戲樂趣逐漸枯竭
近年大賽挺兵跳馬飛相過宮炮之類的柔性佈局下得越來越多 但也基本快拆光了
可以說象棋已經走到了盡頭快GG了...........

呃
扯有點遠
但總之到目前為止 象棋界的思考模式仍然是以計算為主
而且也還沒有發展出像AlphaGO一樣可以自行修正審局函數 具有學習力的棋軟
象棋軟件都還是以固定的審局函數來設計：
比如說給定車=100分、馬=45、炮=50、帥=9999之類的分數
再加上位置分數、特殊構型分數以及全局行動力分數 綜合計算後得到結果

即便在大多數的盤面下 軟件都可以走出好棋
但是只要超過電腦的計算能力所及 這種計算分數的方式仍然會出現問題
早期電腦象棋在出現誤算以後 最常見的問題症狀就是送吃...
電腦覺得它下不贏你之後開始無意義的循環打將...
將一將以後因為長將犯規不能再下 電腦開始把車馬炮丟給你吃莫名其妙送頭...
為什麼會有這種情況產生呢？
因為電腦的邏輯是計算分數 尋求在它計算能力所及的分數最佳盤面
當它發現一個算不清的盤面(尤其是在它算錯即將從正分變成負分的時候)
它的反應並不會像人類一樣去找最佳的防禦手...因為它就是沒有算到！
人類碰到劣勢局面所做的事情是重新設定目標、往穩定盤勢方向計算
透過這種過程得以切掉大量無意義分支進入更深的思考......
這種等於是突然換了一套審局函數的能力還沒有任何電腦可以做到
按照電腦的機械式思維 碰到難局所採取的策略往往是拖延
因為它陷入了一個算不清的情境
對於那些算不清的分支沒辦法做有意義的取值(通常無法判斷可能取值是0)
而為了不至於讓原本正分掉到0分
無意義打將維持正分盤面自然是第一選項...打將不能再下以後
為什麼電腦會開始莫名其妙送頭呢？ 因為只要它原本盤面的正分優勢足夠大
它送子給你吃以後它會判斷盤面還是維持正數！
在幾個子被吃掉之後一些計算上的分枝被裁減掉...電腦可能會恢復正常
但通常到那時候整個盤面已經面目全非 陷入無法防守的境地了

我寫到這邊相信大家已經大略知道我要講的是什麼了...
AlphaGO的問題基本上是一個象棋軟件的開發史上早已發生過的老問題
而且到目前為止還沒有真正被解決
新的棋軟表現更好只是因為審局函數更好+CPU功能更強大
一旦進入算不清的盤面依然有機會發生屬於電腦棋特有的「老症頭」

以下分析幾個盤面

: http://i.imgur.com/KNKgbLN.png
: 經網棋九段朋友解釋 了解到這可能是 為什麼 AlphaGo 先靠後再尖衝的意圖
: 也因這圖 所以李世石選擇直接吃乾淨。
: http://i.imgur.com/FvGN2CO.png
這個黑23手充分體現出AlphaGO審局函數的銳利度...
我覺得以實戰結果看 黑先做了23、24的交換再25飛出迫白26吃
得以下到黑27立先安定 之後甚至反客為主來扳二子頭...
可以說是把李世石九段原本攻擊薄棋的意圖完全破壞掉了 實在是好棋

值得注意的是電腦很可能並沒有算到第二個圖把黑23拉出的戰鬥變化！
我認為著眼於全域的AlphaGO審局函數不可能把所有計算力放在局部
因為電腦並不像人類擁有切割戰場的思維
人類的圍棋思路是以「局部分析」、「手割」的方式訓練出來
由於切掉了大量無需計算的盤面
而得以用極其貧弱的計算力儘可能計算局部最佳的變化...
從此前得到的資訊 AlphaGO完全不是這個類型
它是透過高明的審局函數計算獲勝機率的一台機器
會下在黑23碰只是單純因為它覺得這點不錯 和後面黑25甚至沒有有機的聯繫
就單純只是一個佈局的好點而已

這是一個非常恐怖的直覺棋能力...下了八千萬盤果然不是蓋的

: 27 ~ 33手，黑棋擋下，以及黑棋後許的板二子頭，連板的策略，都是屬於我們可以理解
: 的思考，也是站在圍棋的理論上的幾手棋，但是最讓我不能理解的是為什麼 34 不直接於
: E11 斷開黑子，來製造第一個戰鬥，或許是李世石認為斷開後戰鬥並非會對電腦造成不利
: ，但我始終認為黑棋的壓是一個很過分不能忍受的招法，或許我的計算有點問題吧...
: 27~33手
: 李世石於可以迅速挑起戰端處，卻放棄了戰鬥，而是選擇忍退：
: http://i.imgur.com/L3gQSAl.png
: 我認為，應該是要挑起戰鬥，後續黑是怎麼造劫或對殺，都不太好說：
: http://i.imgur.com/qd1YmuO.png
按照我先前所分析的AlphaGO特性
這一段倘若李世石九段直接開打的話 恐怕這盤棋反而要輸！
因為這並不是一個真正考驗電腦計算力的盤面
按照先前經驗 AlphaGO很可能選擇人類覺得略虧的定型把局部走厚
然後繼續悠然佈局......
這種格調的進行對於不擅佈局的李世石九段來講非常不利
也是前面幾盤李九段會輸的主因

實戰李世石導演了一場貌似讓電腦圍出大空卻利用內部殘子暴動把電腦搞爆的大戲...
實在是非常精采！
利用殘子的能力本就是李世石「殭屍流」獨步天下的強項
可以說小李終於成功找到了一個以子之矛攻子之短的方式了！

: 63 ~ 69 形成了一個非常不明朗的轉換，我們可以說李世石吃下四子較為實際，但是中
: 空賣掉太多，導致我們很難去判斷這一塊的得失，而後續 AlphaGo 的 69 手 或許該單
: 跳吃住更為厚實，但也因為 AlphaGo 飛了一手，李世石成功的拿下本局，本來我認為
: 李世石應該是劣勢的棋局，因為一手鬼手李世石成功逆轉了本次的勝負，也證明了即便
: 目前 AlphaGo 領先，人類終究還是可以逆轉電腦。
: 63 ~ 69手，讓人無法計算的轉換：
: http://i.imgur.com/xDksP6k.png

下到黑69基本上很明顯了：白只要在中央出棋這盤棋就贏了
你說電腦在其他位置吃住更為厚實 的確
問題這對電腦來講是個難題...沒有局部分析能力的電腦只能全盤算
沒辦法集中分析中央區域的落子全力加以算清...
而另一重點是...在AlphaGO的審局函數裡 可能已將中央那塊認定為自己的確定地了
以至於黑69像是更加擴張地盤的著手 因為它完全沒有考慮到補棋

: 70 ~ 72 手，李世石開始尋找逆轉的頭緒：
: http://i.imgur.com/e0Ij5Gj.png
: 到這一串，我已經無法自己理解打開了直播，開始看古力老師的分析
: 73 ~ 77 手，李世石開始對於 AlphaGo 的薄味進行攻擊，也做好下面的個人秀表演，這
: 裡我們可以深刻的感受到，李世石回來了。
: 73 ~ 77手，為了後續的手段進行事前的準備作業：
: http://i.imgur.com/C7VzW8N.png

光是這樣冗長的事前準備作業 還不說78的鬼手...
我想確實沒有幾個人能走出來 批評李世石走得不好實在沒什麼道理

: 圖一：
: http://i.imgur.com/wCPlrDH.png
: 3 = 天元
: 圖二：
: http://i.imgur.com/OyrUO7C.png
: 圖三：
: http://i.imgur.com/k4ADtuS.png 拚劫
: 圖四：
: http://i.imgur.com/0IRhMVT.png 門封

到了白78以後根本複雜到爆炸...是一個除非中央算清否則難以進行的盤面
問題這隻阿法狗的長處是全域判斷
審局函數提供計算的可行棋步分散於棋盤四處 反而無助於問題癥結的解決

: 79 ~ 90手，電腦開始瘋狂損空：
: http://i.imgur.com/j4OQLN1.png

電腦下棋的「老症頭」開始犯了...
由於電腦其實並不存在像人類一樣的棋型認知 而是算機率分數
你可以看到電腦在算不清中央的問題出現以後
很莫名其妙的去走動右邊已經被吃掉的四個子
估計很可能是因為走中央的步算不清 通通判成勝率各半的50%
走右邊送吃反而盤面機率分數持續維持大於50%的優勢 於是選擇了走右邊...
結果當然是損更大擴大了敗勢

: 91 ~ 101 手，91手黑棋提子是必然，92板出也是為了活出中間一小塊，這時候只要把中
: 腹救出一點，那基本上可以奠定勝勢，而黑棋93手立下，感覺是為了95的收空，不能算是
: 失著，算是電腦喜愛交換且趕緊定型的一個特性。李世石 96 手擋住擋的位置，和我想的
: 剛好相反，原因可能是因為他想要避免變化。而接下來的發展讓人跌破眼鏡，瘋狂走出一
: 些不能理解的棋步，你不能說這是他想要取勝所以挑選勝率高的優先走，因為這時候他應
: 該已經"燒壞"了，此時電腦應該也會判斷這時候自己的優勢已經不存在。97手先讓人感到
: 奇怪，這樣一走邊上黑棋全變薄了，99虎了一手，李世石直接吃乾淨，估計是判定贏了。
: 而看到 101 手，我真的開始大笑 XDD，因為 101 手已經走到一線去了，雖然是一個先手
: ，感覺他不想保留先手走這裡也真的是太萌了XDD。
: 情勢失利，讓人跌破眼鏡的 AlphaGo：
: http://i.imgur.com/0W4y9RX.png

會下出黑101的理由同上 電腦算不出分數更高的棋會傾向「維持現狀」...

奇怪了我怎麼突然覺得我的用詞有政治意味............XDDDDDDDDD

: 102 ~ 110 手
: http://i.imgur.com/mGDh2g7.png
: 111 ~ 124 手
: http://i.imgur.com/7CYISka.png
: 125 ~ 130 手
: http://i.imgur.com/DrWR658.png
: 131 ~ 138 手
: http://imgur.com/kS1cGFu
: 139 ~ 160 手
: http://i.imgur.com/aCbkQbL.png
: 161 ~ 170 手
: http://imgur.com/2dmFWqN
: 至 180
: http://i.imgur.com/qrdbI0u.png

最後來解釋一下末段AlphaGO官子崩壞的問題...

這個可能是AlphaGO以機率進行計算所產生的獨特問題
非常值得重視和研究！
因為對於人類而言 下到官子階段所判斷的單位是「子」或者是「目」
這和比賽勝負的計算單位是相同的 是一個絕對的值
比如同樣後手官子一個5目一個3目 那當然是5目的大 這是絕對的

可是 如果轉換成「勝率」概念 那就不一樣了！
「勝率」本質上是一個會隨著棋盤上子數變動的東西......
當棋盤上的子數越來越多 代表棋局越進入尾聲 勝率會越確定
反之棋局越早期 勝率會越變動...
AlphaGO用勝率為單位做計算所面臨的問題是：
它沒有辦法真正有效區辨官子的大小

因為當它優勢的時候：贏5目也是贏 贏3目也是贏
劣勢 輸5目也是輸 輸3目也是輸

這就是說用勝率計算的話
一個後手5目官子和一個後手3目官子對AlphaGO而言很可能都一樣！
因為改變不了比賽結局！
這樣一來在優勢的時候它很可能下鬆 不過還可以維持在安全運轉的範圍之內
因為它總是會選擇勝率大於50%的棋步......
但劣勢的情況下則可能變成像是完全隨機亂走！
因為官子不分大小看起來都是輸！通通都一樣！
這樣的話根本沒有辦法在劣勢情境下走出有效的抗衡手段 是非常嚴重的缺點！

我認為這個BUG的嚴重性可能會導致AlphaGO完全重寫
下一代的BetaGO(?)應該會重回以「子」或「目」作為基本計算單位的架構
然後再慢慢去養......

話說這個基本單位問題的取捨是很重大的議題
研究團隊應該有針對這個東西開發了幾個前期版本加以實驗才對...
我猜想以勝率為基本單位的優點
應該是在棋局前期根本無法換算出確定地的情況下 用勝率去判斷會比較靈敏？
無論如何這造就了一代佈局直覺狂勝人類的AlphaGO
衷心讚嘆Deepmind團隊對於棋藝的卓越貢獻！希望能繼續進步！

--