人機大戰觀後雜感 - 圍棋

※ 引述《Maybetrue (電子黑手)》之銘言：
: ※ 引述《hdjj (hdjj)》之銘言：
: 是一個災難。比如說我們拿AG管理雙北市的紅綠燈，我們希望AG管理的紅綠燈讓交通更
: 順利，結果一個突如其來的災難，讓AG耍憨了起來，搞得全雙北市的紅綠燈通通在亂閃
: 。這是絕對不可以的。以上週團體賽的結果來說，古力那一邊的Alphago 就是在耍憨，
: 而且Alphago 不是軟體工程師key 出來的函數庫，它是自我學習的整體。我猜目前
: deepmind並沒有能力修改AG讓他能在逆境採取積極對策。因為如果去年AG被李世石挖到
: 發瘋，今年重新再次自我學習應該也要把這一點改掉，但是結果並沒有，只是用強大的
: 能力掩蓋這個弱點而已。只要有個人類 (豬隊友?)在旁邊作亂，AG個體能力再強也要發
: 瘋。但是，AG發瘋是不被允許的。事實證明，AG如果傻掉，能力比常人還差。套用到更
: 大的系統面上去的話將會造成毀滅性災難。

簡單說一下原PO所說的問題點
目前deepmind的AG，在正常運作下沒有問題

但發生意外，或突發狀況時，AI並不會讓損失減到最小，而是開始錯亂...

沒人可以保證完全不出任何意外，
但如果AI只有正常運作下沒有問題
當有外力介入，產生意外時，AI並不能讓損失控制到最小，並且產生錯亂...
這是AG要解決的下一步問題..
----
以自動駕駛為例，當AI判斷需要立刻停止(投降)，
但人類強制繼續運行並且依靠AI進行後續判斷(古力不同意，但又不能全面接管)
此時AI開始產生錯亂(亂下)，導致後續應減少損失的局面，反而擴大
這是目前AG的不穩定因素之一

雖然在不同場合，可能不會發生，但現實生活中就因為這萬分之一的意外情況，
產生重大傷害

跟目前寫好的程式一樣，一但發生程式預期以外的情況是無法處理的.
--