久久99国产精品尤物-国产高清色播视频免费看-男生肌肌往女人桶爽视频-精品国产-91PORNY九色|www.jqdstudio.net

以下為方院士現場演講速記初審稿，保證現場嘉賓原意，未經刪節，或存紕漏，敬請諒解。

網絡安全專家、中國工程院院士  方濱興

我們先從一個宏觀的角度來看，作為一個新技術和安全有什么樣的關系？

當一個新技術用于安全時，它會存在著兩種情況，一種是把新技術支撐安全，當然它可以做攻擊，也可以做防御，這個新技術實際上是被安全領域來利用了。第二種是出現了一個新技術，它本身就會帶來一個新的安全問題，也就是說它有可能是自身還不夠安全就用了。我們有時候說它可能是一個潘多拉的盒子，把魔鬼放出來了，危害了其他的領域。我們可以把它看成四種情況：

第一種情況，它用于助力防守，助力攻擊，內生安全，衍生安全。我們從這個視角來看看人工智能是什么情況。首先人工智能會助力防御，人工智能供給，樣本攻擊，威脅人類。這是國外開發的一個系統，叫做AI2，用人工智能方法來分析你是不是有攻擊的情況，它通過大量的數據學習讓人給它做一個判斷，是不是攻擊。這種知識就能夠判斷是否會出現新的攻擊。最后得到了很好的效果，發現攻擊的情況比過去提高了3倍。

第二種情況，人工智能助力于網絡攻擊，我們叫做自動化的網絡攻擊。在美國2013年就準備推這件事，他就說我要搞機器人的自動攻擊。我們兩年后要搞一次比賽，來干這個事兒。2016年就做了這個比賽，進入了初選，一年時間進行決賽。這是等于通過機器人，完全在人不干預的情況下自己去搞計算機的攻擊，來看人工智能能夠發揮什么樣的作用。

在這里面一個核心是要編一個“網絡推理”系統，也就是計算機一定要能夠自動的去發現程序有沒有漏洞可以被利用，如果可有的話，我們就想法自動生成一個程序攻擊你，同時也防止我讓人家利用。

2015年的初賽提供了大概131個程序，覆蓋了53種不同類型的漏洞。而且要求你的計算機運行時間只有24小時，也就是說你得算得很快，要算幾天這個事就做不下去了。而且這53類里面涵蓋了590個漏洞。但是結果是，所有這590個漏洞都被發現了。這里面有很多的團隊，但是事實證明沒有一個漏洞不被計算機發現。從這來看計算機的能力有多強，它當時有100多個隊伍，其中有70多個是政府資助，其他的是自己報名的。那么報名的結果，初賽結果選了7個團隊，這7個團隊就進入決賽。決賽和初賽是什么呢？初賽是自動生成程序，分析生成的效果如何，包括防御、攻擊、監測。最終有7個團隊入圍決賽。

賽就開始有人機對抗。通過計算機生成的打補丁的程序，最后是看誰強大。最后是卡內基梅隆大學的一個程序獲勝了，它獲勝了之后，就讓它去參加人類的比賽，在人類比賽的最后決賽的過程中，前20名里面它排列了第18，換句話說它在一個頂級團隊中干掉了兩個團隊。所以說人工智能在助力攻擊的時候還是很可怕的。

第三，人工智能自身存在著脆弱性，我們有一個“對抗樣本”。就是無論在一個場景下，我們做什么都是機器學習，這個場景與原來學的東西無效，它就是讓你判斷失誤。像自動駕駛在我看來，還有很長的路要走，它還是成為輔助駕駛。大家開車從高速要下來要變道，在北京從主干道往下變非常難，自動駕駛我認為不可能下去。因為人工智能它一定要保護一個安全距離，但是人開車的時候打心理戰。

對抗樣本會出現什么情況？這是一個圖像，這一側是原圖，是一個熊貓，我加一個噪音，大家看這個噪音很大，但是我把這個噪音加了一個千分之七的比例，所以核對的結果是這邊，人一看還是熊貓，但是這個圖已經是這個圖+上了這個噪音圖，人看是熊貓。那么計算機看到的是長臂猿。甚至能夠做到修改一個像素，讓你完全分類錯誤，或者把你的標簽改變了，然后對你做欺騙。這是對抗樣本的結果。這個想識別男人還是女人，對抗者就把上面這個女人加了那么一個框圖，加的結果是旁邊人看還是女人，但是計算機去分類說上面的是男人。同樣下面的男人給他加一個對抗噪音，人一看他還是一個男人，但是計算機一看就是女人。

甚至有對抗的競賽，這是中國清華大學有一位叫張院士帶領的團隊參加的競賽，第一，給定一個輸入圖像，生成一個對抗圖像，盡可能使一個未知分類器給出錯誤的分類結果。就是攻擊者我拿這個對抗樣本能不能讓你分類錯誤。第二，我你給一個圖像，明明是貓，你分成馬，我能不能做到。第三，我防止別人來攻我，我設計的東西別人拿什么樣本我都分類不錯誤，這三種比賽清華大學都拿了第一。

其中攻擊別人的方法主要是把他們加動亂性，把穩定做一個破壞。這明明是一個雪山，加了一個噪音，結果絕大多數的分類器都把它理解為是一個狗。這明明是一個河豚，加上一個噪音之后變成這個圖像，把它理解為是一個螃蟹。它防止別人去攻擊他，他采取的方法就是去噪音。這是一個原始的圖像熊貓，加上了噪音，它試圖讓分類器把它理解為是一個狗，但是清華在這里面去噪音，讓它不被理解為是狗。總之這里面就是存在這種對抗。

最后一個就是人工智能具有危及人類的潛在威脅。特斯拉大家都知道，開車自動駕駛的過程當中，撞到了一個白色的箱貨車，車毀人亡。這是因為特斯拉的攝像頭焦距很窄，高清的，所以他先頭看的是白云，突然看到車廂中間一塊，認為這還是白云，就撞上去了。所以這個就等于對它的傳感器的識別做出了欺騙。這個車，自動駕駛車把人撞死了，發現這個系統里面看到這個人了，沒有任何決定剎車的動作。這個自動駕駛怎么了？我們說你可能有你的失誤，但是你危害了人類。人們已經開始關注這類的問題了，國際社會宣言說不能拿人工智能用于武器，國際著名的學者馬斯克認為，人工智能是要威脅到人們的未來，需要加強管理。霍金也認為人工智能一旦脫離約束，這個是不可控的。彼爾蓋茨認為人工智能最終構成一個現實性的威脅。

怎么防止它？阿西莫夫提出機器人三大定律，第一，機器人不得傷害人類或看到人類受到傷害而袖手旁觀。第二，在不違反第一定律的前提下，機器人必須絕對服從人類給與的任何命令，第三，在不違反第一定律和第二定律的前提下，機器人必須盡力保護自己。所以最早人們的期望現在已經被研究者給破壞掉了。

人工智能為什么會危害人類？前提它是要有一個人工智能的行為體，行為體有四個要素，感知外部環境，內部算法，自身驅動裝置，還要有交互行為。所以說外部需要能夠感知，我內部算法要做決策，驅動裝置你是要移動起來。然后要自治，你要決定自己做什么。這里面人工智能行為有很多，自動駕駛機器人，自動駕駛汽車，人工智能武器等等，我們說它都是人工智能行為體，因為它有行為。

人工智能在什么情況下會危害人類呢？我認為要同時滿足三個條件，第一，有行為能力，能動；第二，有破壞力，有危害性；第三，能夠自治。

首先能動的問題早就解決了。

第二，有沒有破壞力，這是一個學者他做的一個演講，這是一個名字叫殺人蜂，有這種破壞力的時候，這是一個危險因素。

第三個要素，就是它得是一個自動行為體。Facebook曾經在做研究的時候突然發現它研究的兩個機器人之間發生了這樣的對話，這個對話屏幕上是亂碼，但是一看是有規律的操作，所以嚇一跳就關了。因為我們在自然語言翻譯的時候，在機器里面是機器的原語，我們有狀態圖，但是你要展現出來，及其可以用原語對話的時候，它就堅決不翻譯，繼續用原語對話，那么人怎么辦？人根本不知道它進展到什么程度，如果機器人對話的時候人知道它進展到什么程度，你會防范一些。所以只要有你不能理解的地方，你就不知道它會走在哪一步。

人類的學習是需要建筑在洞察力之上，這是因為人類的記憶是有限的。AlphaGo它把圍棋看成一個點陣，這個點陣只有19*19，我們看一個圖現在都是幾千乘幾千了，只有三個顏色，黑、白和非黑非白，那么這個機器人它無非就是把它19乘19，這個圖都是很小的，而且從一個圖到另一個圖的躍遷無非就是這么幾種可能。到底哪個圖更好，人永遠不是這么下棋的，既然它能夠做到和你完全不一樣，它走到哪一步你怎么知道？所以他能不能失控你怎么知道？搞AI的人從來不這么想，但是我們老百姓覺得它挺可怕。所以說是否能自治，這是我們需要認真思考的。

運動體已經比比皆是了，破壞力已經突破掉了，關鍵就是能不能自治，我們現在碰到了很多事故了，是事故還是失控你控制不了，它還是有規律的，這就是一個很大的風險。但是人工智能你不教它干什么，它就不會干什么。我們叫做自我目標。

但是我們不能太相信機器人不會危害人類，所以要對它有約束。有一個國際標準，提出了四種約束條件，第一種安全級的監控停止，當出現問題的時候，有讓它停止的能力。第二，是手動引導，做什么事兒我讓它做它開始做，如果這個機器人只能手動才開始做的話，它就沒法給自己定宏觀目標。第三，速度和距離監控，當它和人比較接近的時候，速度必須降下來。第四，功率和力的限制，當和人接近的時候功率必須迅速降下來，這些都是要保護人類要做的事情。

我們提出一個AI保險工作理念，任何一個機器人首先要有驅動，然后要有決策，我就在驅動和決策之間插入一個保險箍，就是要防止它做危害人類的事。你要想做這個就必須要解決我們首先是遠程控制，能夠讓它停下來，能夠限制它做事情。它有可能自己把自己摘除掉，所以我們需要反摘除。第三，把它形成一個閉環，當它接近人的時候能夠馬上降低它的全部能力。第四，增強一些識別你是不是有黑科技，甚至在這里面去查傳感器都是假的，我用我不可修改的傳感器來做檢測。第五，要遠程控制。

要想做到這一點，制定準入制度，確保AI保險箍能夠發揮作用。AI行為必須預留接口，支持AI保險箍串聯接入。我們可以檢測是不是超越了它的技術能力，人工智能必須有可更改的算法，發現有沒有一些黑科技。