文章出處：霍金為什麼反對人工智能
最近比較火的一個概念是“人工智能”，像谷歌啊、IBM啊、Facebook啊這些大公司，
都在這個領域早早佈局，搶占產業風口。
而且，它們開發的產品真的越來越智能，甚至人類幹不了的事兒，他們也不費吹灰之力。
不過呢，你可別以為這就是個絕對的好事兒啊，好多人都擔心，這個機器人越來越智能了，
萬一不聽人類指揮了咋辦？而且，反對人工智能的還都是腦袋最好使的大佬級牛人，
比如霍金啊、比爾•蓋茨啊、埃隆•馬斯克這些人，
他們警告說，人類有一天可能會被人工智能給滅掉。真有這麼嚴重嗎？答案是，真的。
首先，給你介紹一個概念，叫“加速回報定理”。什麼意思呢？
就是整個人類文明是加速前進的。比如說，如果我們把一個三百年前的清朝人拉到今天，
他看到汽車飛機，還有滿大街的手機，肯定嚇尿了。
那麼，如果這個清朝人也想嚇唬一下他的前人，他該回到多少年前呢？
三百年肯定是不夠的，清朝和明朝的差距跟本沒法把一個明朝人嚇尿。
他至少需要回到一萬年前，去找一個剛脫離原始社會的古代人，
讓這個古代人看到宏偉的宮殿，車水馬龍的集市，才有可能把他嚇尿。
同樣，如果這個古代人也想嚇唬一下他的前人，他就不能只回到一萬年以前，
而是要回到幾十萬年以前找一個原始人，
然後用火以及它們用語言交流的能力，把那個原始人嚇尿。
人工智能的發展，也是一個加速回報的過程。
第一台電腦誕生到現在才不過五十多年時間，你看它的運算能力都已經發展到什麼程度了？
人家還學會了對外界進行簡單的判斷，
比如篩選垃圾郵件啊，根據人的品味推薦軟件啊等等。
也就是說，人工智能也像生物那樣，不斷朝高級階段演化。
但問題是，人工智能的進化速度幾乎是生物的幾千萬倍，
人類成千上萬年完成的進化，它們幾十年就完成了。
而且，根據加速回報定理，它們進化的速度只會越來越快，
昨天我們可能還覺得機器人像黑猩猩一樣呆萌，第二天它可能就推導出廣義相對論了。
所以用不了多久，聰明得沒法理解的人工智能就可能主宰整個人類的命運。
你可能會說，就算電腦再聰明，他們也不一定很壞啊？
問題就在這裡，對於人工智能而言，不存在好壞的概念，而只有道德與非道德的區別。
打個比方，從基因的角度來看，我們人類就很像機器人，
基因有一條核心代碼——要想辦法把它傳遞下去，反映到我們人類的行為上，
就是男性會通過送花這樣的形式來追求女性，
而女性也會精心打扮自己的髮型來努力吸引男性，一切就是那麼自然。
但你想過沒有，對於被摘掉的花和剪掉的頭髮而言，我們有考慮到對它們是否道德嗎？
沒有，我們純粹只是為了完成基因內在的目標而已。
同樣，人工智能可能為了實現它的核心目標，而需要傷害、利用甚至消滅人類，
就跟我們摘花剪頭髮一樣，壓根沒有什麼道德可言，也不需要它們很邪惡。
就拿一台會下棋的人工智能為例，它的核心代碼可能很簡單，就是不斷打敗對手。
為了實現這個目標，它會學習棋藝，會連接互聯網讀取棋譜，
進一步它可能會觀察人類心理以壓迫對手，
然後它可能會意識到有的人想拔掉它的電源，斷它的網。
那為了避免斷網，它就可能會採取手段，來奴役甚至消滅那些潛在威脅的人。
原因也不是別的，就是因為它想下棋而已。
你可能會說，這根本就不是問題嘛，
一開始設計它們的時候，別有Bug，這樣它不就按照咱們人類預想那樣進化了嗎？
很遺憾，根本就做不到。人類創造所有軟件的1.0版本幾乎都是有Bug的，
咱們根本不知道自己最初以為完美無缺的代碼，後來會發展成什麼樣子。
比如，我們最初設定人工智能的唯一目標是要讓人類快樂，
但它在發展過程中，可能會發現最簡單的方法就是給大腦植入電極來刺激快樂中樞，
結果就演變成了黑客帝國裡那樣，所有人類都被人工智能奴役到一個虛擬世界中去了。
而且，人工智能又跟過去的軟件不一樣，一旦他發展成了超級智能，
那我們人類也就拿它們沒辦法了，不可能再把它停下來打補丁修改代碼。
任何人工智能的1.0版本，都很有可能是終極版本。
所以，
霍金、比爾•蓋茨、埃隆•馬斯克這些人，
不可能沒有意識到人工智能蘊藏的巨大商業價值，
但他們依然公開表示要謹慎，這種擔心是有道理的。
我們在享受技術進步帶給我們便利的同時，
也得對這些我們製造出來的智能玩意兒，保有一份警惕心。
本文源自：美國科普網站wait but why
稿：李程遠
-----------
主旨：
為什麼反對的原因有
1. 人工智能的發展，是一個加速回報的過程，人無法預估
人類成千上萬年完成的進化，它們幾十年就完成了
2. 機器人不存在好壞的概念，只為了實現它的核心目標
拿一台會下棋的人工智能為例，
它的核心代碼可能很簡單，就是不斷打敗對手。
為了實現這個目標，它會學習棋藝，會連接互聯網讀取棋譜，
進一步它可能會觀察人類心理以壓迫對手，
然後它可能會意識到有的人想拔掉它的電源，斷它的網。
那為了避免斷網，
它就可能會採取手段，來奴役甚至消滅那些潛在威脅的人。
原因也不是別的，就是因為它想下棋而已。
3. 不能按照咱們人類預想那樣進化
人工智能又跟過去的軟件不一樣，一旦他發展成了超級智能，
那我們人類也就拿它們沒辦法了，
不可能再把它停下來打補丁修改代碼。
任何人工智能的1.0版本，都很有可能是終極版本
最近比較火的一個概念是“人工智能”，像谷歌啊、IBM啊、Facebook啊這些大公司，
都在這個領域早早佈局，搶占產業風口。
而且，它們開發的產品真的越來越智能，甚至人類幹不了的事兒，他們也不費吹灰之力。
不過呢，你可別以為這就是個絕對的好事兒啊，好多人都擔心，這個機器人越來越智能了，
萬一不聽人類指揮了咋辦？而且，反對人工智能的還都是腦袋最好使的大佬級牛人，
比如霍金啊、比爾•蓋茨啊、埃隆•馬斯克這些人，
他們警告說，人類有一天可能會被人工智能給滅掉。真有這麼嚴重嗎？答案是，真的。
首先，給你介紹一個概念，叫“加速回報定理”。什麼意思呢？
就是整個人類文明是加速前進的。比如說，如果我們把一個三百年前的清朝人拉到今天，
他看到汽車飛機，還有滿大街的手機，肯定嚇尿了。
那麼，如果這個清朝人也想嚇唬一下他的前人，他該回到多少年前呢？
三百年肯定是不夠的，清朝和明朝的差距跟本沒法把一個明朝人嚇尿。
他至少需要回到一萬年前，去找一個剛脫離原始社會的古代人，
讓這個古代人看到宏偉的宮殿，車水馬龍的集市，才有可能把他嚇尿。
同樣，如果這個古代人也想嚇唬一下他的前人，他就不能只回到一萬年以前，
而是要回到幾十萬年以前找一個原始人，
然後用火以及它們用語言交流的能力，把那個原始人嚇尿。
人工智能的發展，也是一個加速回報的過程。
第一台電腦誕生到現在才不過五十多年時間，你看它的運算能力都已經發展到什麼程度了？
人家還學會了對外界進行簡單的判斷，
比如篩選垃圾郵件啊，根據人的品味推薦軟件啊等等。
也就是說，人工智能也像生物那樣，不斷朝高級階段演化。
但問題是，人工智能的進化速度幾乎是生物的幾千萬倍，
人類成千上萬年完成的進化，它們幾十年就完成了。
而且，根據加速回報定理，它們進化的速度只會越來越快，
昨天我們可能還覺得機器人像黑猩猩一樣呆萌，第二天它可能就推導出廣義相對論了。
所以用不了多久，聰明得沒法理解的人工智能就可能主宰整個人類的命運。
你可能會說，就算電腦再聰明，他們也不一定很壞啊？
問題就在這裡，對於人工智能而言，不存在好壞的概念，而只有道德與非道德的區別。
打個比方，從基因的角度來看，我們人類就很像機器人，
基因有一條核心代碼——要想辦法把它傳遞下去，反映到我們人類的行為上，
就是男性會通過送花這樣的形式來追求女性，
而女性也會精心打扮自己的髮型來努力吸引男性，一切就是那麼自然。
但你想過沒有，對於被摘掉的花和剪掉的頭髮而言，我們有考慮到對它們是否道德嗎？
沒有，我們純粹只是為了完成基因內在的目標而已。
同樣，人工智能可能為了實現它的核心目標，而需要傷害、利用甚至消滅人類，
就跟我們摘花剪頭髮一樣，壓根沒有什麼道德可言，也不需要它們很邪惡。
就拿一台會下棋的人工智能為例，它的核心代碼可能很簡單，就是不斷打敗對手。
為了實現這個目標，它會學習棋藝，會連接互聯網讀取棋譜，
進一步它可能會觀察人類心理以壓迫對手，
然後它可能會意識到有的人想拔掉它的電源，斷它的網。
那為了避免斷網，它就可能會採取手段，來奴役甚至消滅那些潛在威脅的人。
原因也不是別的，就是因為它想下棋而已。
你可能會說，這根本就不是問題嘛，
一開始設計它們的時候，別有Bug，這樣它不就按照咱們人類預想那樣進化了嗎？
很遺憾，根本就做不到。人類創造所有軟件的1.0版本幾乎都是有Bug的，
咱們根本不知道自己最初以為完美無缺的代碼，後來會發展成什麼樣子。
比如，我們最初設定人工智能的唯一目標是要讓人類快樂，
但它在發展過程中，可能會發現最簡單的方法就是給大腦植入電極來刺激快樂中樞，
結果就演變成了黑客帝國裡那樣，所有人類都被人工智能奴役到一個虛擬世界中去了。
而且，人工智能又跟過去的軟件不一樣，一旦他發展成了超級智能，
那我們人類也就拿它們沒辦法了，不可能再把它停下來打補丁修改代碼。
任何人工智能的1.0版本，都很有可能是終極版本。
所以，
霍金、比爾•蓋茨、埃隆•馬斯克這些人，
不可能沒有意識到人工智能蘊藏的巨大商業價值，
但他們依然公開表示要謹慎，這種擔心是有道理的。
我們在享受技術進步帶給我們便利的同時，
也得對這些我們製造出來的智能玩意兒，保有一份警惕心。
本文源自：美國科普網站wait but why
稿：李程遠
-----------
主旨：
為什麼反對的原因有
1. 人工智能的發展，是一個加速回報的過程，人無法預估
人類成千上萬年完成的進化，它們幾十年就完成了
2. 機器人不存在好壞的概念，只為了實現它的核心目標
拿一台會下棋的人工智能為例，
它的核心代碼可能很簡單，就是不斷打敗對手。
為了實現這個目標，它會學習棋藝，會連接互聯網讀取棋譜，
進一步它可能會觀察人類心理以壓迫對手，
然後它可能會意識到有的人想拔掉它的電源，斷它的網。
那為了避免斷網，
它就可能會採取手段，來奴役甚至消滅那些潛在威脅的人。
原因也不是別的，就是因為它想下棋而已。
3. 不能按照咱們人類預想那樣進化
人工智能又跟過去的軟件不一樣，一旦他發展成了超級智能，
那我們人類也就拿它們沒辦法了，
不可能再把它停下來打補丁修改代碼。
任何人工智能的1.0版本，都很有可能是終極版本
沒有留言:
張貼留言