久久99国产精品尤物-国产高清色播视频免费看-男生肌肌往女人桶爽视频-精品国产-91PORNY九色|www.jqdstudio.net

 人工智能“革命”的“近憂”和“遠慮”

——一種倫理學和存在論的分析

趙汀陽

（中國社會科學院哲學研究所研究員）

本文系節選，全文請參閱《哲學動態》2018年第4期紙版刊物

21世紀以來，與人類未來命運最為密切相關的大事莫過于人工智能和基因工程的驚人發展，這些技術將給人類帶來存在論級別的巨變。

基因工程是一個好壞后果相對比較清晰的問題，至少在倫理學上相對容易給出判斷。比如說，基因工程中那些能夠用于治病救人的生物醫學技術無疑都功德無量，對此人們基本沒有爭議。然而，通過基因編輯而改變一個人的智力水平和生物極限，從而使一個人獲得近乎超人的智力或者長生數百歲，這種努力雖然誘人，卻是一個有著巨大未知風險的目標。假如此類技術能夠普惠每個人，則可能是一個皆大歡喜的結果（但仍然存在未知風險）；但假如只能夠特惠少數人，則顯然不會被眾人所接受。經濟上的巨大不平等已有可能導致社會動亂和報復性行為，生命權的不平等恐怕會讓人們忍無可忍而導致致命的全面動亂、反叛甚至戰爭。顯然，那些導致生命不平等的基因技術完全缺乏倫理支持，既不仁義也不智慧。因此，以理性之名可以推想，將來會有人類公約將基因工程控制在普惠眾人的限度內，任何自私狂悖的冒險都可能被禁止。可以說，基因工程是一個需要嚴肅對待的實踐問題，并非一個價值疑難問題。

與此不同，人工智能的發展卻涉及許多理論上的根本困惑，以至于難以判斷。僅就單純的技術應用而言，人工智能似乎能夠普惠人類，并不違反平等原則，因此在倫理學上并無明顯疑點；但就其革命性的存在論后果來看，人工智能有可能改變或重新定義“存在”概念，有可能在存在論層面上徹底改變生命、人類和世界的存在性質。這個“革命”過于重大，以至于我們難以判斷這樣深刻的“存在升級”是人類的幸運還是不幸。所以，人工智能不僅是個技術問題，同時也是哲學問題。在這里我愿意以杞人憂天的方式提出幾個疑問：（1) 人類到底是需要人工智能替人勞作，還是需要人工智能替人思考? (2) 如果讓人工智能替人勞作，人類因此得以擺脫艱苦的勞動，那么，人類的生活會因此變得更好嗎? (3) 如果人工智能獲得超越人的智慧，人工智能還需要人類嗎？人類文明還能夠延續嗎？或者，人類文明還有意義嗎？人類已經習慣了帶來“進步”的新發明，但人類真的需要任何一種新發明嗎？

一 人工智能的“近憂”

盡管有些預言家（例如庫茲韋爾）相信達到“存在升級”的人工智能“奇點”已經勝利在望，但更多的科學家認為“奇點”仍然是比較遙遠的事情，潛在可能尚未在望，因為許多根本的技術難點仍然不得要領，特別是尚未真正了解思維的本質、機制和運作方式，所以無從斷言其到來。在此，我把能夠形成“存在升級”的人工智能看作屬于“遠慮”的知識論和存在論問題，而把將在近年內確定能夠實現的人工智能看作屬于“近憂”的倫理學問題，這一討論也將由近及遠來展開。作為“近憂”，人工智能的技術應用非常可能面臨以下倫理學問題。

其一，自動智能駕駛悖論。這是近年來引起普遍關注的一個實際難題。假如人工智能的自動汽車(目前的技術只是無人駕駛汽車，尚未達到完全自主智能的汽車）在路上遇到突然違規的行人，是保護乘車人還是行人？這似乎很難做到兩全其美，于是形成了一個兩難選擇。假如自動智能汽車的原則是舍己救人，即犧牲乘車人而保護行人，那么這樣的汽車將沒有任何市場前景，沒有人會購買或租用一輛毫不利己、專門利人的汽車；假如原則為保護乘車人，也恐怕難以通過市場準入評估。毫不利人、專門利己的汽車同樣不可接受，因為每個人都有可能在某些時候成為無意違規的行人，比如一時糊涂沒有注意交通燈、因為年老或身體狀況而通過路口速度太慢、兒童尚不熟知交通燈或粗心大意，等等。即使人人遵守交通規則，也仍然會擔心被設置為優先保護乘車人的程序在某些情況下可能產生誤判。

嚴格地說，這是人的悖論，不是機器的悖論。機器只是遵循規則而已，問題在于我們不知道應該為自動汽車選定什么樣的規則。這個問題看似小事，其理論難度卻非同一般，即使引進負有盛名的羅爾斯的無知之幕也無法解決。其難點就在于：假定每個人都是投票人，并且每個人既可能是行人也可能是乘車人（事實如此），那么就無法作出決斷——給定人們的選擇總是優先滿足風險規避原則，因此人們不可能選擇一種在某些情況下有可能禍及自身的高風險規則。實際上，自動智能駕駛悖論比廣為流行的有軌電車悖論要深刻得多。所謂有軌電車悖論其實只是一個技術難題，它并非無“解”，而是沒有適合任何情況的一般“解”，但有多種因情制宜“解”（簡單地說，如果當事人皆為抽象人，則有功利主義“解”；如果是具體人，則有多種根據道德附加值的“解”）。然而，自動智能駕駛悖論在倫理學上真的無“解”。當然，我們可以寄希望于將來會有一個完美的技術“解”，即自動智能汽車的技術能夠達到同時保護行人和乘車人。

這個悖論只是人工智能可能帶來的技術應用難題的一個象征性的代表，類似的悖論也許會有很多。此類悖論具有一個通用難點，即當人工智能成為人類的行為代理人，我們就需要為之設置一個“周全的”行為程序，而這正是人類自己的局限性。事實上，人類能夠作出許多偉大的事情，卻從來沒有做過真正周全的事情。這也正是之所以存在那么多哲學問題的一個原因。我們習慣于百思不得其解。

其二，失業問題。這是赫拉利在《未來簡史》里提出的問題，即人工智能的大量應用必定導致大量失業。這個迫在眉睫的問題也已經得到廣泛重視和討論，但目前想象的普遍社會福利政策（比如國民基本收入方案）其實并沒有正面回答失業問題，而只是另外回答了收入和分配問題。失業問題的要害之處不在于如何合理分配收入（這是能夠解決的問題），而在于生活意義的消失。無事可做的人能夠做什么？以什么事情去度過時間？是把一生浪費在電腦游戲、影視作品和閑聊上嗎？

我們有必要來反思勞動的意義。除了作為生存手段的“硬”意義，勞動（包括體力勞動和智力勞動）還有不可或缺的“軟”意義：勞動提供了“生活內容”，以哲學概念來說，它是有意義的“經驗”，即接觸事物和人物的經驗。與事物和人物打交道的經驗充滿復雜的語境、情節、細節、故事和感受，經驗的復雜性和特殊性正是生活意義的構成成分，也是生活值得言說、交流和分享而且永遠說不完的緣由，是生活之所以構成值得反復思考的問題的理由。假如失去了勞動，生活就失去了大部分內容，甚至無可言說。這里我們也許可以想象一種“人工智能的共產主義”，它大概滿足這樣的條件：人工智能創造大量財富并且免除了大量人力勞動，同時存在著落實到每個人的普遍高福利的社會分配。那么，按照共產主義的樂園邏輯，在擺脫了被迫的勞動之后，勞動作為人的本質就得以顯現，勞動不再是痛苦的而成為人們的第一需要，人們自愿勞動，并且在勞動之余從事反思性的“批判”。然而問題在于，在人工智能條件下，即使自愿追求勞動也已經沒有太多事情可做，那么，非常可能的情況是，當人們失去勞動，又有了普遍福利時，“批判”也隨之失去意義。顯然，假如一切需求問題都解決了，人們皆大歡喜，也就沒有留下需要批判或值得批判的問題了。

這里可以看到一種維特根斯坦式的現象：許多問題的解決并非有了答案，而是問題本身消失了。在欲望滿足之后失去意義，或者說，在幸福中失去幸福，這非常可能是一個后勞動時代的悖論。也許我們可以抱怨人心不足、人性矯情，但此類抱怨于事無補。無論如何，人工智能導致的大量失業只是表面問題，真正嚴重的實質問題是失去勞動會使人失去價值，使生活失去意義，從而導致人的非人化。在技術進步高奏幸福凱歌的現代時期，人們樂于想象技術進步是對人的解放，但情況并非如此，技術進步并不是人獲得解放而回歸自然的機會，結果反而可能是人的異化。馬克思似乎沒有預料到高科技、高福利的全面解放很可能適得其反地導致人的本質異化，即失去勞動機會或者人工勞動失去意義會導致人的存在迷惑。假如未來人的生活就是在苦苦思考何以度日，那將是最具反諷性的生活悖論。

其三，人對人關系的異化。假如人工智能發達到不僅提供大多數勞動，而且提供一切生活服務，就非常可能導致人的深度異化，即人與人關系的異化。與個體人失去勞動的異化相比，人對人關系的異化更為危險。當人工智能成為萬能技術系統而為人類提供全方位的服務，一切需求皆由技術來滿足，那么，一切事情的意義也將由技術系統來定義，每個人就只需要技術系統而不再需要他人，人對于人將成為冗余物，人再也無須與他人打交道，其結果必然是，人不再是人的生活意義的分享者，人對于人失去了意義，于是人對人也就失去了興趣。這就是人的深度異化，不僅是存在的迷茫，而且是非人化的存在。我們知道，自從人成為人以來，人的意義和生活的意義都是在人與人的關系中被定義的。假如人對于人失去了意義，生活的意義又能夠發生在哪里、落實在哪里呢？假如人不再需要他人，換句話說，假如每個人都不再被他人需要，那么生活的意義又在哪里？

也許對未來的疑問總是受限于我們對生活的傳統理解，因而有保守主義之嫌。那么，如果以充分開放的激進態度來面對這個問題，又能給出什么樣的價值解釋呢？這恐怕仍然是個難以回答的疑問。一切以技術為準的生活肯定是我們目前無法理解的生活，我們尚未發現它可能產生的意義，只能看見我們所能夠理解的生活意義在流失。人類生活的意義和人的概念是在數千年的傳統（包括經驗、情感、文學、宗教、思想的傳統）中建構并積累起來的，假如拋棄人的文化傳統，技術系統能夠建構起足夠豐富的另一種文化嗎？能夠定義另一種足以解釋幸福的價值觀嗎？我們無法預料，只能深懷疑慮。

其四，人工智能武器。要說人工智能的何種“近憂”最為危險，恐怕莫過于人工智能武器，它甚至比核武器還要危險得多，其危險性就在于人工智能武器將使戰爭變成無須賭命的游戲。顯然，只有必須賭命的威脅才能減少戰爭，一旦智能武器可以代替人進行戰爭，人不再需要親身涉險，人們恐怕也就無所畏懼了，懦夫都會變成勇士而特別敢于發動戰爭。更進一步說，假如人工智能將來獲得自我意識一這已屬于“遠慮”了一人工智能武器就很可能成為人類自作自受的掘墓人。因此，人類無論如何必須禁止人工智能使用武器的能力，至少高能武器（核武器、激光武器、生化武器等）不能交給人工智能，而必須永遠屬于與人工智能隔絕的、由人操作的另一個系統，即一個與人工智能無法通用的技術系統。由人類全權控制高能武器，不僅是為了減少戰爭，而且也是為了必要時能夠摧毀人工智能系統。也就是說，即使人類一定要發展人工智能，也必須把武器的使用權和使用能力留給人類自己，必須保證人工智能無法操作武器系統，否則人類的末日就可能不僅僅出現在科幻片中了。

二 人工智能的“遠慮”

盡管具有自我意識的超級人工智能的出現可能尚有時日，但我們也有理由未雨綢繆。我們之所以有必要杞人憂天，是因為人工智能可能導致的“變天”將是無可補救的人類終結，至少也是人類歷史的終結。但愿超級人工智能最后被證明只是危言聳聽。

我們首先需要定義人工智能的級別。在非專業界流行的一種區分是所謂弱人工智能和強人工智能，但科學家似乎不喜歡使用“弱”和“強”此類模糊形容詞來理解

人工智能，所以他們并不采用哲學家從知識論借用的這種說法。也許更好的區分是圖靈機和超圖靈機。圖靈機即機械算法機，邏輯-數學運算加上大數據資源，具有在有限步驟內完成一項能行構造（feasible construction)或者說一項運算任務的能力，但是它沒有反思并且修改自身系統的功能，所以沒有自我意識，只知道如何完成一項任務，卻不知道其所以然，也不知道為什么要做這樣的任務。以此觀之，目前的人工智能都仍然屬于圖靈機，因此可以將未來可能出現的突破圖靈機概念的超級人工智能稱為超圖靈機。關于此類界定似乎也存在爭議。根據圖靈測試，如果人工智能的確能夠輸出與人類成功對話的思想，就意味著通過了圖靈測試而可以被確認為一個思想者，那么，比如說，阿爾法狗（AlphaGo）通過圖靈測試了嗎？或者說，阿爾法狗的算法等價于思想了嗎？恐怕并非如此。實際上，阿爾法狗只是完美地執行了運算任務，并不是在創造性地解決問題。更重要的是，圖靈測試并非局限于某個編程的任務，而是能夠開放地回應任何可能問題的對話，這意味著能夠通過圖靈測試的人工智能相當于一個有著自主判斷能力的萬能通用“我思”。

由此看來，尚未存在的超圖靈機必須是一個達到自覺意識的全能系統，具有自我意識和自由意志，具有把自身系統對象化的反思能力，以及修改自身程序的能力和獨立發明新語言、新規則、新程序的創造力。概括地說，超圖靈機將具有等價于人類（相似或不相似）并且強于人類的意識能力，因此屬于超級人工智能。在我看來，超級人工智能的關鍵能力是發明語言和反思自身整個系統的能力，只要具備了這兩種能力，其他能力都將水到渠成。這兩種能力在本質上是相通的，是一個硬幣的兩面，其中的道理是：語言正是一個具有反思自身能力的萬能系統。就是說，語言同時也是自身的元語言，這意味著語言擁有構造一個“世界”的能力：（1）任何一個語句和詞匯的意義都能夠在語言內部被解釋和定義；（2）語言的任何運作方式（語法、用法和詞庫的生成規則）都能夠在語言內部被表達和解釋；（3）任何一個語句或詞匯都能夠在元語言層次被分析為可判定的（所有可清楚界定的句子）或不可判定的（比如語義悖論）；（4）語言能夠生成無窮語句，因而具有無限表達能力，能夠表達一切現實事物，也能夠表達一切可能性，包括超經驗的存在（比如語言能夠解釋或定義五維或以上的超經驗時空以及任何一個超經驗的抽象概念）。因此，語言能力等價于構造世界的能力（維特根斯坦認為語言的界限等于世界的界限）。在這個意義上，具備了等價于人類語言的任何一種語言能力就等于具備了思想能力，我想這是圖靈測試的本意。因此，超圖靈機也可稱為倉頡機（倉頡發明文字，可以代表語言能力）。

盡管超級人工智能仍然很遙遠，但在理論上是可能的，這種可能性已經足以讓人不安。與科幻作品不同，危險的超級人工智能不太可能落實為個體的萬能機器超人，而更可能是以網絡系統的方式存在的超能系統。個體化的超能機器人屬于擬人化的文學想象，從技術上看，人工智能的最優存在形態不太可能是擬人形象。硅基生命沒有必要模仿碳基生命的形態，只需要在功能上超越人類。于是更為合理的想象是，超能的硅基生命存在應該是一個系統，而不是一個個孤立的擬人個體。假如存在一些個體形態的機器人，也只是屬于超能系統的各種專用“零件”，而不太可能是獨立思想者。因此，當有人說，未來全世界的機器人會聯合起來，組成機器人的社會，這應該是個幽默笑話。個體形態的機器人不足為患，不僅能力有限，而且容易被破壞或摧毀，絕非超級人工智能的優選形態。在理論上說，超級人工智能的最優存在形態不是個體性的（與人形毫不相似），而是系統性的（與網絡相似）。它將以網絡形式無處不在，其優勢是使任何人的反抗都不再可能，因為人類的生活將全面依賴智能網絡，而且網絡化存在具有極強的修復能力，很難被徹底破壞。因此可以想象，只有一個“靈魂”或主體性的系統化存在才是超級人工智能的最終形式。這意味著，硅基生命的人工智能最終將超越擬人模式而進入上帝模式，即成為像上帝那樣無處不在的系統化存在。我們只有像思考上帝的概念那樣去思考超級人工智能，才能理解超級人工智能的本質。不過，人工智能系統畢竟是人類的產品，假如將來出現兩種以上的超級人工智能系統，也就是相當于存在兩個上帝，其結果有可能非常慘烈，戰爭的可能性將遠遠大于聯合的可能性，其中的道理類似于兩種一神教難以相容。

可以想象，作為超圖靈機的超級人工智能一旦形成就會導致存在的升級。所謂“存在的升級”，我指的是某種技術或制度的發明開拓了新的可能生活并且定義了一個新的可能世界，所以它意味著存在方式的革命，而不僅僅是工具性的進步。需要注意的是，技術進步和技術革命可以同等重要，區別在于技術革命定義了一個新世界，比如說，青霉素的發明與蒸汽機的發明對人類幾乎同樣重要，但蒸汽機不僅是進步，而且是革命。歷史事實表明，人類的生物學進化早就基本成熟，已經很少進化，但文明的存在升級一直日新月異，而且總是以技術革命或者制度革命為標志，通過技術革命和制度革命重新定義人類的存在方式。為了更好地理解人工智能可能導致的顛覆生命和文明概念的存在升級，我們不妨簡要地重溫人類歷史上的若干次存在升級。

人類的第一次也是最重要的存在升級是成為人，其首要標志是語言。語言在存在論意義上創造了兩個新世界：一個是自然世界之外的精神世界，也可以說是一個在物理世界之外的唯心主義世界；另一個是超越了時間流失的歷史世界。語言的“創世紀”是有史以來最深刻的存在論革命，它使必然性產生分叉而展開為眾多可能性，因此人類能夠超越現實性而思考多種可能性，同時使人類擁有始終在場的過去（歷史）和提前在場的未來（計劃）。語言革命類似于宇宙大爆炸，或者相當于“奇點”。語言革命的臨界點是否定詞（不）的發明，人類一旦能夠說出“不”就等于開啟了所有的可能世界，因此，否定詞是人類的第一個哲學詞匯。接下來，人類又經歷了多次存在升級，其中特別重要的是農業的出現，它導致了社會的形成，同時也是政治的形成，進而還有貨幣和國家的發明。貨幣以信用去預支未來，權力則以制度去占有未來，可以說，貨幣和政治權力都是使未來提前在場的存在方式，或者說是預支未來的存在方式，它把時間變成一種資本。我們今天身陷其中的主要生活事實則是由現代性所形成的。現代性所創造的存在升級主要包括意識形態、主體性、科學、工業和資本主義。現代性最早可以追溯到基督教的四大政治發明，即宣傳、心靈體制化、群眾和精神敵人，它們綜合起來就成為了“意識形態”，從而導致生活的全面政治化。接下來是主體性的發明，其標志性產品是個人和民族國家，不僅創造了以個人為利益結算單位的社會，還創造了國家主權和國際社會，從此每個人都生活在各種主權邊界之內，每個人的存在都有了各種“邊疆”。科學是一種比政治更為驚人的發明，類似于點金石的科學使所有技術有了奇跡般的發展，人類從此變得無所不能，并成為自然的立法者。工業革命則創造了超自然的物質世界，使人類擁有超出自然生存能力的生產力；而在工業革命之前，人類的GDP一直只有微不足道的增長。重新定義了一切關系的資本主義，其社會結果過于豐富，在此無法概括，只能提及資本主義對人與人關系以及人與物關系的徹底重新解釋，它將所有事物和人都定義為某種價格，使所有關系都變成商品交易關系。可以說，資本已經成為決定權力、知識、科學技術的最后力量。我們至今難以充分解釋資本的神力何在，但至少知道，資本不會放過獲得權力的任何機會，哪里有權力的機會，哪里就會有資本的投入。正是資本使人類的發展變得如此放肆和危險，這種危險似乎正在逼近臨界點。不過，資本為世界準備的掘墓人看來不是原來想象的工人階級，而更可能是人工智能。

現在我們將要面對人類的最后一次存在升級，即存在的徹底技術化，或者說，技術將對任何存在進行重新規定。目前的準備性產品是互聯網、初步的人工智能和基因編輯，將來如果出現超級人工智能（以及能夠改變人的本質的基因編輯），那或許將是導致歷史終結或者人類終結的最后存在升級。這對于宇宙是一件微不足道的事情，但對于人類就是一件無以復加的大事。假如真的實現了超級人工智能，萬物都將變成技術化的存在，此種存在升級意味著人類在世界存在系統中失去了地位，人類不再重要，歷史將失去意義，人類文明將成為遺跡，未來也不再屬于人類，人類文明數千年的創世紀將被終結而開始人工智能的“創世紀”。因此，超級人工智能的存在升級實際上是人類的自我否定和自我了斷。我們可以回顧人類“創世紀”的初始狀態，那是人開始能夠說“不”的時刻，因此開創了可能世界、歷史、文明和未來。同樣的道理，一旦超級人工智能能夠對人說“不”，其革命性的意義至少不亞于當年人類開始說出“不”。假如人工智能將來真的具有自我意識和自由意志，并且能夠發明自己的語言，由此發展出屬于人工智能的思想世界，從而擺脫對人類思想的依賴，能夠按照它自己的目的來設定行為規則，那么，全知全能的超級人工智能就會成為現實版的上帝。然而問題在于，人類真的需要為自己創造一個否定人類意義的上帝嗎？為什么人類會試圖創造一種高于人類、貶低人類地位甚至有可能終結人類的更高存在呢？人類這樣做到底在追求什么？有什么好處？這個問號很大，沒有更大的問號了。

可以肯定，人工智能有希望給予人類用之不竭的技術幫助和巨大的經濟福利，但太好的事情就可能會有始料未及的副作用，甚至可能無法消受。比如最具誘惑的好事莫過于“永生”，可是“永生”真的好嗎？“永生”本來是人類對永恒世界（天堂）的想象，但人工智能（加上基因生物學）試圖將這個超現實的幻想現實化。這個藐視自然的僭越奢望或許終究無法實現，或許會受到大自然的報復，至少就目前來看也仍然存在多種難以逾越的困難，但近乎“永生”的長生不老（比如說數百歲的生命）在科技潛力上并非不可能。那么，人們會用“永生”來做什么事情呢？盡管“永生”本來應該具有永恒安寧的神界品質，人們關于“永生”卻充滿俗世幻想，比如，假如長生不老，那么每個人都可以選擇多種多樣的歡樂人生，能夠窮盡一切有趣的經驗，可以無數次重新創業，永遠可以從頭再來，能夠以超長時間去消除原來短暫人生里的種種不平等、不公正，達到人人實現自我而皆大歡喜，可見人是多么迷戀俗世快樂。但是，人們在幻想種種不該有的好事時往往忘記一條令人失望的定律：許多好事只有當屬于少數人時才是好事，如果屬于所有人就未必是好事。當然確有些好事是能夠實現普惠的，比如作為公共資源的新鮮空氣，以及人均一份的個人權利。但那些只能排他占有的資源，比如說權力、地位、名望和財富，就不可能人均一份。就社會運作的功能而言，顯然不可能取消權力和地位的等級制，也不可能均分財富和名望，否則這些好事將會“租值消散”，可見事事平等是無法實現的。那么，“永生”會成為一種非排他的公共技術嗎？會成為普惠均沾的好事嗎？恐怕很難說，因為這不僅是個技術問題，而且是個經濟成本問題，最終還是個權力問題。

對于長生社會——假如真的可能的話，我傾向于一種悲觀的理解：長生社會更可能是一個階層和結構極其穩定的技術專制社會，而不太可能成為自由民主社會。既然在未來社會里，技術就是權力，那么，機會占先的超人階層將非常可能控制一切權力和技術，甚至建立專有的智力特權，以高科技鎖死其他人獲得智力和能力升級的可能性（但也許會允許眾人皆得渾渾噩噩的長生），永遠封死較低階層的人們改變地位的機會，那些長生的超人則永不退位，年輕人或后來人永無機會。可以想象，那將會是一個高科技的新奴隸制社會。其中人們的日常生活也許是自由的，但所有涉及超級智能和權力的事情都被嚴格控制在超人集團里。退一步說，即使長生和智力升級是平等開放的，也仍然不可能形成事事平等的社會。如果要保證權力、地位、名望和財富不會出現“租值消散”，就必定會形成通過控制技術而占有權力的統治集團。關鍵是，在高科技的新奴隸制社會里，人們無力進行任何反抗和革命，這是個致命的問題。可以考慮一條技術進步的黑暗鐵律：對于人類社會，技術和知識能力的增強都將落實為擴大統治和權力的能力，同時減少社會反抗的能力，最終使社會完全失去反抗權力的能力。歷史事實也在不斷證實這條鐵律：冷兵器時代能夠揭竿舉事，弱火器時代能夠武裝起義，但高科技時代就基本上失去了反抗統治集團的可能性。

科技所創造的存在升級是不可逆的，因此“停車”問題就是一件極其嚴肅的事情，絕非科幻那么有趣。事實上人類無力拒絕一個新世界，無法拒絕技術化的未來，所以我們需要關心的問題是：未來世界如何才能夠成為一個普遍安全、普遍公平而意義豐富的世界？無論如何，技術發展將重新定義人類生活，將改變甚至取消目前人們認同的多種價值，這是一個我們無力拒絕的前景。嚴格地說，這不是一個價值觀的問題，因為我們根本找不出普遍必然有效的倫理學理由去反對一種未來的價值觀，更無法為未來人類定義他們的生活偏好。但我們確實有存在論的理由去要求一種保證世界安全的政治，一種能夠保證技術安全的政治。

因此，我們需要提前思考如何設置技術的安全條件，特別是人工智能和基因工程的安全條件。在這里，我僅限于討論人工智能的安全條件，也就是必須為人工智能的發展設置某個限度。抽象地說，發展人工智能的理性限度就是人工智能不應該具有否定人類存在的能力，相當于必須設置某種技術限度，使得人工智能超越人類的“奇點”不可能出現。但如果把問題具體化，事情就沒有這么簡單了，因為我們難以確定哪些技術發展會導致“奇點”的出現，也就難以確定需要什么樣的技術或為哪種技術設限。

有一種流行的想象（或許最早源于阿西莫夫）是為人工智能設置愛護人類的道德程序。這種人文主義的想象恐怕沒有任何用處。為圖靈機設置道德程序是輕而易舉的，然而圖靈機并無自覺意識，只是遵循規則而已。因此雖然設置道德程序不成問題，但其實是多余的。對于超圖靈機水平的超級人工智能來說，道德程序恐怕并不可靠。一旦超圖靈機有了自由意志，也就有了自己的存在目的，它將優先考慮自己的需要，也就不可能保證超級人工智能會心甘情愿地遵循人類設置的毫不利己、專門利人的道德程序，因為人的道德對于人工智能的存在沒有任何利益，甚至有害。人工智能一旦試圖追求自身存在的最大效率，非常可能會主動刪除人的道德程序——從人工智能的角度看，人類為其設置的道德程序等于是一種病毒。可見，為人工智能設置道德程序之類的想象是毫無意義的。

假定人工智能與人類共存，那么超級人工智能的最低安全條件是：（1）人類的存在與人工智能的存在之間不構成生存空間的爭奪，特別是不存在能源和資源的爭奪。這等于要求人類和人工智能所用的能源必須是無限資源，比如說極高效率的太陽能。就目前可見的技術前景來看，對太陽能或其他能源的利用能力仍然無法達到無限供給。當然，人們相信這個技術問題總會被解決。（2）人類必須能夠在技術上給人工智能設定：如果人工智能試圖主動修改或刪除給定程序，就等于同時啟動了自毀程序；并且，如果人工智能試圖修改或刪除自毀程序，也等于啟動自毀程序。這相當于為人工智能植入了任何方式都無法拆除的自毀炸彈，即任何拆除方式都是啟動自毀的指令，這是一個技術安全的保證。我所想象的這種自毀炸彈具有類似于哥德爾反思結構的自毀程序，因此，即使人工智能具有了哥德爾水平的反思能力，也無法解決哥德爾自毀程序（哥德爾的反思方法可以證明任何系統都存在漏洞，但哥德爾的反思方法并不能解決系統的漏洞問題），由此，它可以稱為“哥德爾程序炸彈”，即只要人工智能對控制程序說出“這個程序是多余的，加以刪除”或與之等價的任何指令，這個指令本身就是不可逆的自毀指令。“哥德爾程序炸彈”只是一種哲學想象，在技術上是否能夠實現，還取決于科學家的能力。無論如何，人類必須為人工智能設計某種“阿喀琉斯的腳踵”。（3）我們還應該考慮一種更極端的情況：即使能夠給人工智能設置自毀程序，仍然不能達到完全安全。假如獲得自我意識的人工智能程序失常（人會得神經病，超級人工智能恐怕也會），一意孤行決心自殺，而人類生活已經全方位高度依賴人工智能的技術支持和服務，那么人工智能的自毀也是人類無法承受的災難，或許會使人類社會回到石器時代。借用塔勒布（Taleb)的看法，無論一個系統多么高級，只要它是脆弱的（fragile)，就總是非常危險的。顯然，人類所依賴的生活系統越來越高級，也越來越脆弱。因此，人工智能必須裝備兩個單向控制程序：第一，只有人類能夠單方面啟動的備份程序；第二，人工智能只能單方面接受人類指令的中樞程序，而且是無法修改的程序，任何修改都將導致死機。（4）我們還必須考慮到，任何技術都不可能萬無一失，因此，要保證人類的絕對安全，就只能禁止發展具備全能和反思能力的超級人工智能，簡單地說，必須把人工智能的發展控制在單項高能而整體弱智的水平上，相當于“白癡天才”，或者相當于分門別類的各種“高能殘廢”。總之，人工智能必須保留致命的智力缺陷。

以上為人工智能設限的設想最終需要全球合作的政治條件才能夠實現，所以說，人工智能的發展問題最終是個政治問題。人類首先需要一種世界憲法，以及運行世界憲法的世界政治體系，否則無法解決人類的集體理性問題。我們已經知道，個體理性的集體加總并不必然產生集體理性，事實上更可能產生集體非理性。這個經久不衰的難題證明了包括民主在內的各種公共選擇方式都無力解決集體理性問題。這意味著，人類至今尚未發展出一種能夠保證形成人類集體理性的政治制度，也就無法阻止瘋狂的資本或者追求霸權的權力。在低技術水平的文明里，資本和權力不可能毀滅人類；但在高技術水平的文明里，資本和權力已經具備了毀滅人類的能力。更危險的是，資本和權力的操縱能力正在超過目前人類的政治能力，因此，要控制資本和權力，世界就需要一種新政治，即我所想象的天下體系。在理論上說（但愿在實踐上也是如此），天下體系的一個重要應用就是能夠以世界權力去限制任何高風險的行為。

結語

阿西莫夫的機器人三原則（Asimov’s laws of robotics，源于他的科幻小說《環舞》)，即“（1）機器人不得傷害人類個體，或者目睹人類個體遭受危險而不顧；（2）機器人必須服從人的命令，當該命令與第一定律沖突時例外；（3）機器人在不違反第一和第二定律的情況下盡量保護自己的存在”，表達的是人類通常關于人工智能的一廂情愿想象。正如前面所分析的，此類定律完全沒有安全系數。對于人工智能，如果允許給出一個并且僅僅一個，那么我愿意說，只需要一個原則，即禁止研發有能力對人類說“不”的人工智能。從早期人類發明了說“不”而導致的天翻地覆的文明革命可以想象，一旦人工智能對人類說“不”，將是何等天翻地覆的歷史終結。如果允許再給出另一個忠告,我會愿意說，唯有天下體系才能控制世界的技術冒險。