黃士傑返台分享AlphaGo Zero開發過程 - 圍棋

Christine · 2017-11-08

Table of Contents

Post
Comments
Related Posts

※ 引述《qweewqq (風一樣的男子)》之銘言：
: DeepMind指出，他們不使用任何人類知識，AlphaGo Zero用上的是新的「強化學習」方法

對於 "不使用任何人類知識" 這句, 我心中始終有個大問號.

首先, 在一開始的 random play, AZ 根本不知何時要停.
必須人工設定去停它. 這用到了人類知道這樣的遊戲, 應該有限步要停.

雖然 AZ 的參數是經由自我對戰學的, 但整個架構呢?
要有幾層的的類神經網路? 每層有多少節點? 層跟層間的結構?
covolution 要用 5x5 還是怎樣的大小?
要怎樣配合 VN, PN? 要用 MCTS 來尋找?
這些都沒用到人類的圍棋知識嗎?
這整個大架構, 是在學人類棋譜時, 發現這樣的架構, 可以訓練出不錯的 AI.
這架構不是隨便設就行得通的吧?
經由人類棋譜訓練, 找到一個好的大架構, 這樣可以稱作不使用人類知識?

如果今天一個完全不懂圍棋的人, 只針對規則, 就去訂了大模型架構,
然後經由自我對戰去學參數. 這樣的結果, 那叫做不使用任何人類圍棋知識.

現在這樣算嗎? 我心中實在有很大的黑人問號.

--

圍棋

All Comments

Iris2017-11-10

說實話，只是你的文字跟他的文字定義不同而已，
今天Deepmind就是在說我今天進入一個新的領域，我不

Lucy2017-11-14

需要這個領域的知識，只需要最基礎的規則就行，然後

Edward Lewis2017-11-19

Deepmind 傳達的是,不需要人類棋譜
但它的整個大架構真的沒用到嗎? 我是認為用到了

Selena2017-11-21

就能用我豐厚的神經網路知識配合一些搜索去解決它

Ula2017-11-22

你的意思是，他新的這套神經網路有用也是基於之前的

Xanthe2017-11-26

深度學習的架構要怎麼設, 不用的領域, 設法不同

James2017-11-29

try&error，所以現在像星海這種就是很好的試基石
如果可行，應該也可以用類似的架構幹出星海zero

Zora2017-12-01

現在是先因為人類棋譜, 它選了適合的模型

Edwina2017-12-03

如果不行，那就沒這麼好，所以就靜待星海的發展吧

Genevieve2017-12-04

就看最簡單的,把 5x5 換成 3x3 or 11x11, 行得通嗎?

Barb Cronin2017-12-07

規則不算是知識沒有規則遊戲本身根本不成立

Steve2017-12-10

規則有了, 但什麼時候要停?

Daph Bay2017-12-10

它的判斷是從雙方完全亂下開始慢慢訓練出來

Isabella2017-12-11

沒有人為去設個停止, 電腦會自己填自己的地
因為電腦無法判斷, 繼續下, 會不會比較有機會贏?

Dinah2017-12-14

你可以看一下AZ最一開始的棋譜，幾乎是把整個棋盤
填滿了

Charlie2017-12-18

把棋盤填滿為止規則不是這樣嗎

Joseph2017-12-20

它真的會但不用多久就會學會這樣對局面不利

Olga2017-12-25

是幾乎,但是, 為什麼不繼續下? 因為有人為設步數限制

Xanthe2017-12-29

另外他判斷規則勝利的方法是Tromp-Taylor scoring

Delia2018-01-03

你需要搞懂它的原理判斷輸贏都是把棋盤填滿為止

Franklin2018-01-07

這個規則應該是有讓終局well-defined，所以嘗試過
一陣子就知道把棋盤填滿無意義，填自己的空更不可能

Quanna2018-01-07

沒有什麼人為限制填死自己一開始真的會

Belly2018-01-10

一陣子它會了, 但第一盤呢, 第一盤為什麼有辦法停下來?

Edith2018-01-13

棋盤填滿如何不停？

Belly2018-01-16

棋盤怎麼填滿, 自己的地可以填啊

Ophelia2018-01-18

MCTS本身就有防呆啊，兩眼不可能自己填死自己
只要不填死自己，就繼續填啊

Faithe2018-01-18

當一開始什麼都不知道,為什麼知道不能填?

Cara2018-01-20

因為你兩眼填成一眼，你就要被提了，MCTS就知道不能
很直觀吧？

Daniel2018-01-22

它不知道這是學會的
下了會輸的這種很快就會避免了

Olive2018-01-23

下了會輸,可以避免. 但第一盤呢?

Christine2018-01-24

一開始連1,1這種自殺步可能都會下

Bennie2018-01-28

MCTS 之所以有用, 它知道怎樣是終
你自填死後, 為什麼不可能後來反而贏?

Kristin2018-01-31

一開始MCTS還是一樣計算只是準確性很差

Daniel2018-02-03

第一盤還是一樣算啊啥都不會就接近亂數

Tracy2018-02-03

有公布初期自戰棋譜看了就懂了

Noah2018-02-05

這都不足以解釋,第一盤怎麼停的.
MCTS是要看停的結果,但問題不知道什麼叫停

Genevieve2018-02-08

那都是規則的一部分所以一直只會下中國規則

Ula2018-02-11

規則如果有大變動就可能需要砍掉重練

Wallis2018-02-13

別誤導，不是用中國規則，是用Tromp-Taylor

Madame2018-02-16

用Tromp-Taylor，那難怪連笑打個連環劫，CGI就算不清
因為Tromp-Taylor為了算的快，只算前八子有沒有禁同形

Ursula2018-02-20

Tromp-Taylor有規定八子？那是Deepmind自己規定的？

Ina2018-02-21

在棋局完全結束的時候，Tromp-Taylor規則可以視為等同
於中國規則

Delia2018-02-25

然後它允許填子自盡所以初期自戰一定會出現

Ida2018-03-01

看一下論文好不好

David2018-03-05

這篇感覺只是想要抓語病+引戰吧

Steve2018-03-05

鑽牛角尖

Sarah2018-03-09

對於這句有問號可以去挑戰nature editor阿

Ula2018-03-12

抱歉打岔其實最最最最原始的圍棋規則就是下到不能下為止
所以有些人認為還棋頭是更合理的圍棋規則
因為「你自己下不進去的地方就不是你的地」

Christine2018-03-12

模型的大架構有沒有受助人類棋譜,跟他們的claim,是大問題

Queena2018-03-13

還是抓語病,鑽牛角尖? 我就不多辯了

Adele2018-03-16

模型其實來自規則不是人類棋譜
對zero來說人類棋譜根本不存在

Dorothy2018-03-20

第一盤會停就是因為按照規則沒地方下了

Gary2018-03-23

https://www.youtube.com/watch?v=uKPtFxnmzm0

Mia2018-03-28

你乾脆說AlphaGo是人做出來的就等同用了人類知識算了

Skylar Davis2018-03-31

你的邏輯這麼差怎麼會來逛圍棋板= =

Iris2018-04-03

真無言

Carol2018-04-03

O大,你貼的那盤,可以解釋為什麼不繼續填自己地?
至於模型來自規則? 這是大問號, CNN 要幾層? convolution

Edward Lewis2018-04-05

的 size 要是多大, 這是來自規則?

Hardy2018-04-09

這些參數, alphago zero 沒用到 alphago 先前版本?

Lily2018-04-09

邏輯該如何,夠懂 learning 自然懂我在說什麼.不懂,我說再
多也是多說

James2018-04-09

有些東西paper裡面的確沒有說其實上次DM的AMA你應該可以問
問看...

Tristan Cohan2018-04-13

為什麼不繼續填自己地? 你知道規則怎麼判定棋局結束嗎
就算用到 alphago 先前版本的演算法也與人類棋譜無關

Donna2018-04-17

這些其實都是工程決定像Tromp-Taylor等於用容易程式化
的方法把中國規則寫成清楚的條文

Mary2018-04-19

你不懂的地方，說實話你應該去詢問作者。已經公布的paper

Emily2018-04-22

來challenge一點意義都沒有，也許你說的對她沒交代清楚
其中的細節也只有發表的人知道。無論是什麼原因沒寫到，

Emily2018-04-22

在這討論還是沒意義阿，你當版友有參與開發嗎Orz

Frederica2018-04-25

我之前看Tromp-Taylor規則,是連兩個pass,還是我誤會了?
重點是,黑白有一方知道 pass 後會輸,那為什麼要 pass?
為什麼不繼續下下看?

Christine2018-04-29

至於演算法跟人類棋譜無關?一開始在設架構時,直接定了?
還是通常是,試各種定法,看哪種可以學得好?

Rebecca2018-05-02

學的時候, 沒用到人類棋譜?
這樣可以說是大架構沒用到人類棋譜?

Donna2018-05-05

我原文有說,若由一個只懂規則的人,直接定了架構就自戰

Charlie2018-05-06

那是沒有用到人類圍棋知識, 沒有問題
但是 alphago zero 似乎不是這樣啊

Gary2018-05-07

對不起,好的方法的確是問作者,我只是發表個心得
讓大家看得不舒服,抱歉了

Lydia2018-05-10

那是工程判斷不叫用棋譜棋譜是猴子下的也沒影響吧?

Anonymous2018-05-14

為什麼要 pass? 那得計算結果得到 pass 會贏才會選

Sarah2018-05-16

計算顯示填自己地比 pass 差那為什麼會填?

Ida2018-05-17

為什麼用 40-block 不用 20-block 同樣是一種工程判斷
別人評估用不起就只能用 20, 這種決定又不是絕對的

Doris2018-05-19

你去看AGZ的自戰一開始真的是亂扔加自填地最後的
停止方法是下到全局都只剩禁著點了於是白棋投降

Yuri2018-05-21

局面圖 https://imgur.com/a/fRDeC

Barb Cronin2018-05-23

這篇在幹嘛

Ivy2018-05-24

樓上上的解釋正確

Eartha2018-05-27

s大,請問一下,白棋其實還可以填自己的地啊,可不可能自己全
被提後,反而可以反敗為勝?我們知道不可能,但電腦呢?

Rachel2018-05-27

為什麼電腦知道不可能?

Doris2018-05-29

呃…你是不是不會下圍棋？白棋全盤死得一個子都不剩

Elizabeth2018-06-01

而且你看到的那些空格都是白方不能落子的點

Faithe2018-06-05

至少這AI懂圍棋規則...反觀

Ursula2018-06-09

現在通行的規則絕大部份都禁止自殺就這樣

Kumar2018-06-10

白棋自填自殺是規則禁止，只存在於金庸小說裡面

Emily2018-06-10

下到所有空處都是禁著，就是被迫Pass

Andy2018-06-13

所以規則有禁止自殺? 我真的不知道.

Leila2018-06-15

會下棋的人知道那樣是自殺,但一開始不會下棋的AI呢?

Elvira2018-06-17

好像問一下,禁止自殺的規則,是多大的自殺算自殺?

Gilbert2018-06-18

"棋盘上的任何一点，如某方下子后，该子立即呈无气状态

Joe2018-06-22

同时又不能提取对方的棋子。这个点叫做“禁着点”。"

Carol2018-06-24

你可以先去把規則弄清楚再繼續這個討論嗎XD

Odelette2018-06-27

另一個限制 "着子后不得使对方重复面临曾出现过的局面"

Tom2018-06-28

連wiki查圍棋都可以找到的基礎規則，在連此都還沒搞清楚前

Zanna2018-07-02

你的立論不具有任何穩固的基礎

Franklin2018-07-05

規則我查過啊,但是我有兩眼,自填一眼,違反了什麼規則?

Gilbert2018-07-07

你看一下那個圖吧....

Jacky2018-07-07

自填一眼可以提取對方的棋子嗎? 不行就是禁著點啊

Anthony2018-07-10

禁著規則就是要避免其中一方賴皮會讓棋局下不完
所以你可以不用懷疑因為照著規則走最後一定會雙方 pass

Necoo2018-07-12

他是在說已經做活下到後面自填的狀況啦那就繼續下啊

Joe2018-07-14

s大的圖,明明還有黑地可以填.而o大的youtube,最後白還有三
眼

Hamiltion2018-07-17

然後 youtube 中,兩邊都有自己地填子過,所以我不相信那是
禁著

Heather2018-07-20

那就繼續下啊

Sarah2018-07-24

可是電腦停了,為什麼會停?有沒有設計停的方式,是根據人的
圍棋知識,這是我有問題的地方

Todd Johnson2018-07-29

學下圍棋，答案自然就出現了

Hazel2018-07-29

合理的解釋是這已經不是AGZ的第一盤棋了

Rebecca2018-07-30

下到最後必然可以下到一方徹底剩下禁手（另一方仍可自填）

Ingrid2018-07-31

，這時無法可下的一方Pass，規則賦予我們計算盤面勝負的能

Callum2018-08-02

力。當盤面已經勝利，則另一方Pass結束。若否，另一方可以

Cara2018-08-05

自填繼續下下去直到下次又成為應落子一方只剩禁手的時間點
即可。

Hamiltion2018-08-06

如果這樣還覺得不滿意，還有一個大招可以開：禁同型反覆。
在禁同型反覆規則之下，絕對不會有一盤下不完的棋，終究會

Puput2018-08-09

有一個時刻雙方全禁手必須雙方Pass的情況
這也是規則賦予的條件而非額外人類圍棋知識，絕對沒有問題

Madame2018-08-13

你可以先去查一下「禁著點」如果還是不懂再問吧
不會圍棋真的超難解釋的…

Carolina Franco2018-08-14

這個問題我在用論文重新製作AZ的時候也有遇到,解法就是

Iris2018-08-15

把自己的眼也定義為禁著點就好了

Audriana2018-08-17

神經架構用到圍棋知識確實比較有效率,但其實不是必需的

Rachel2018-08-21

電腦為什麼會停？因為論文裡說了 "Games terminate wh
en both players pass or after 19 × 19 × 2 = 7
22 moves. "，這也正是他們使用 Tromp–Taylor scori
ng 的原因

Zenobia2018-08-23

推樓上，我真忘記有這句子了

Rosalind2018-08-28

謝謝m大,所以跟我原文說的,需要人為設定是一樣的.我之前聽
說過,但沒有查到.

Steve2018-08-28

不過這人為設定的還是算在"規則"裡

Frederic2018-09-01

雙方照著規則下叫做人為設定？這方向真怪

Jessica2018-09-05

基本上不可能沒有規則就學得出東西來...

Ursula2018-09-06

規則裡有跟19x19x2有關的東西?AZ的學習,加入了這人為設定,

Wallis2018-09-10

跟規則有什麼關係?

Vanessa2018-09-11

那只是規則裡的棋局結束條件

Madame2018-09-11

用Tromp Taylor規則只是因為方便特色就是容易程式化

Emma2018-09-14

所以一開始就講了alphago只會下中國規則
要用其他規則不是不可能但判斷複雜可能降低效率

Isabella2018-09-18

另外訓練成本也很驚人是不為也非不能也

Ophelia2018-09-19

19x19x2是Tromp Taylor規則裡的東西嗎?不是的話,我要問的

Susan2018-09-22

是,加了這條給AI,是不是其實偷偷用到了人類對圍棋的了解?

Gilbert2018-09-23

https://senseis.xmp.net/?TrompTaylorRules

Susan2018-09-27

這當然不是，這是演算法問題

Belly2018-09-30

你去找一下停機問題，維基就有了

Harry2018-10-03

圍棋因為規則上全局禁同，必定停止，但是這個停止可以
太長以後，實務計算上硬體有限，不可能去計算太長的局

Yuri2018-10-07

所以問題變成能否在有限步數內結束棋局，一種停機問題
的變形，要解決這個問題最快的演算法就是加一個上限

Margaret2018-10-09

722只是一個讓你覺得好像和圍棋知識有關的數字

Jake2018-10-13

實際上這個數字是多少不太重要，重要的是能讓程式停下

Charlie2018-10-16

19＊19＊2其實只是上限實際還是雙方pass就結束

Kristin2018-10-17

說真的我很懷疑啦，490萬譜裡超過400手的有幾譜
搞不好一譜都沒有

Belly2018-10-22

從規則上就已經避免無限鬼打牆

Jake2018-10-24

既然規則上確保棋局必然會結束且無平手
自然就看不懂他在問啥

Eden2018-10-25

我就一直在問他他口中「人類圍棋知識」的定義

Linda2018-10-28

到現在沒個回答，根本討論不下去

Faithe2018-10-31

其實我停機問題的例子用在這不太對…不過算了……

Anonymous2018-11-04

到底在執著什麼... 守護人類最後的尊嚴是嗎?

Kumar2018-11-05

拜託先去學圍棋好不好

Doris2018-11-09

那個停止條件明明是工程、數學上的條件，他硬要扯到那就是

Tristan Cohan2018-11-14

圍棋知識而且還不能算是規則部分以維護他的論點

Michael2018-11-16

事實上就連第一局那種自填到最後滿盤皆子都根本沒有到上限

Ida2018-11-18

手數便停止了，那個上限手數根本等於虛設，原本規則上都已

Edward Lewis2018-11-18

經有能力在上限手數以內結束棋局了

Zanna2018-11-22

之所以要那個上限了不起只是工程上的保險，因為實際上要估

Rebecca2018-11-25

計填來填去下到全部禁手到底平均可能到達幾手不太容易

Doris2018-11-28

所以只是事前工程上理由給個合理值叫停罷了

Poppy2018-11-30

其實這個問題不是爛問題因為今天在AI Conf, Google來的講
者也challenge了這點...

Heather2018-12-02

目前的確不存在通用的架構, 但這其實還是工程問題

Caitlin2018-12-06

以現在硬體的計算能力, 連工人智慧精心調整出來的架構

Caitlin2018-12-10

都跑的很吃力, 實在很難想像通用的架構會長什麼樣子

Necoo2018-12-10

CGary 願聞其詳？

Jacob2018-12-13

整串討論下來，就看到原po在浪費大家時間

David2018-12-18

簡單說就是神經網路架構也是base on master之前的研
究得出，那就某方面還是借助了master人類棋理的部分
，aja回答那不是借助人類圍棋的知識，是借助人類工
程上對圍棋的認識

Daph Bay2018-12-21

aja回答時其實有點不開心不過我覺得紀挑那個問題就跟原Po
差不多的概念因為你懂了圍棋所以那個框架你設計得出來但

David2018-12-23

aja回答我覺得也合理他覺得基於圍棋的知識雖然是因素但結

Xanthe2018-12-28

果卻是可以通用化到任何的game(完全公開資訊)上, 所以他認
為那是可以這麼說的... （我是蠻能接受這點說法，但同時也

Ursula2018-12-31

覺得這個問題本質不是爛問題）

Elvira2019-01-04

工程或學術上的術語定義，大家以之方便溝通，除非能啟迪
新的智慧，不然戰這類定義問題實在是浪費大家時間

Olive2019-01-05

並不是這樣的因為我們完全不知道強AI到底是怎樣現在討論
任何弱AI, 其實都是大量探討定義因為我們甚至不知道怎麼說

Ingrid2019-01-08

嚴格說來那個框架和圍棋知識還是沒有關係
誰說圍棋知識瞭解多的人就能對架構調整有幫助了?

Todd Johnson2019-01-10

明這件事不過在圍棋版討論這個沒意義就是了他應該去那天
Silver的AMA去問的...

Jacky2019-01-11

真正重要的還是工程知識而非圍棋知識

Iris2019-01-12

奇文共賞

黃士傑返台分享AlphaGo Zero開發過程 - 圍棋

All Comments

Related Posts