2021年8月26日,美國蘭德公司發布研究報告《評估人工智能系統在情報分析中的效用》(Evaluating the Effectiveness of Artificial Intelligence Systems in Intelligence Analysis)。
報告介紹了人工智能系統在情報分析方面的作用,劃分出該系統的四個功能類型,并強調AI技術在情報分析中的效用不僅取決于技術系統本身,更取決于系統的使用方式。因此,情報分析師在其中的作用非常重要。此外,還介紹了評估AI系統性能的幾個指標,最后為該系統的進一步研發與應用提出建議。
隨著新技術的迅速發展普及以及信息社會帶來的數據過剩,美國軍方和情報界都非常關注如何將人工智能(AI)系統應用于情報分析,該系統的開發和部署也正在計劃與籌備中。然而,在國家安全背景下,在情報分析中部署AI系統首先需要確認系統本身的能力,才能更有效地為情報與決策提供服務。
報告主要內容一覽
1. 人工智能情報系統的四個主要系統類型:自動分析、收集支持、評估支持和信息優先化;
2. 從用戶使用與系統本身兩個方面對“信息優先化系統”進行性能評估,認為:該系統功效不僅取決于系統本身的性能,還取決于系統的使用方式;
3.為人工智能情報系統的設計、使用與發展提出意見和建議。
內容主要編譯自外文網站相關資料
僅供學習參考,歡迎交流指正!
文章觀點不代表本機構立場
1.情報周期
情報周期指的是情報分析的環節與過程,每個情報分析環節都對應著相應的AI系統的性能,不同分析層次的情報任務所適用的AI系統也有所不同。
本研究發現,傳統的情報周期理論與人工智能參與的情報分析實踐之間存在著不可避免的鴻溝。然而機遇與挑戰并存,可以通過系統地分析情報分析師使用人工智能操作的具體過程,找到二者的融合點,進而改進情報分析模型,不斷提升人工智能系統在情報分析中的效用。
圖:經Johnston改編的Treverton的“真實情報周期”示意
2.AI系統分類
人工智能情報系統的四個功能類別
研究以情報周期作為AI情報分析系統的基本模型,并將AI情報分析系統的功能分為四類:自動分析、收集支持、評估支持和信息優先化(如下圖所示)。在此基礎上,研究定性分析了在該系統每一種功能類別所對應的子系統在運行中的影響因素。
圖:人工智能情報分析系統功能類別與情報周期的關系
2.1 自動分析系統
自動分析(Automated Analysis)系統指的是可在無人監督的情況下自動轉換或豐富數據的工具,如:可轉錄、翻譯和總結信號情報(SIGINT)的工具。通俗地說,任何可以對情報數據做出結論的系統都可以歸到這一類別。這類系統的關鍵特征是,可以根據具體需求、以特定的方式將數據進行重組并以新的形式展示數據,而不是簡單將全部情報數據進行羅列。
2.2 收集支持系統
收集支持(Collection Support)功能為:可在已有可用信息基礎上,優化指導未來情報收集的功能。該功能對應的系統如:利用信號情報發現或跟蹤目標的系統。這類系統對攝像機的指向、情報、監視和偵察機的飛行位置,或哪條新線索被轉發給相關人員的問題都有影響。
2.3評估支持系統
評估支持(Evaluation Support)系統主要對應情報周期中的“評估”步驟,用于監控情報處理過程、評估情報產品的質量、判斷情報產品是否符合該情報分析的優先事項。例如:根據國家情報優先框架(NIPF)對報告進行分類,并跟蹤其中的優先事項。
2.4信息優先化系統
信息優先化(Information Prioritization)系統旨在獲取可用信息和分析師偏好,并將二者有效關聯,從而提升情報分析師的工作效率。例如:將情報分析師的歷史搜索或分析重點進行評級,為所有情報源進行標記,并推送適合該分析師情報。
3.性能評估
以信息優先化系統為例
3.1從用戶角度評估
評估人工智能情報系統的性能,需要首先從用戶、即情報分析師的角度出發,有以下兩個評估要點:
一是,該系統是否存在浪費時間的現象,即占用了分析師的時間,卻沒有提供應有的情報分析效果。
二是,該系統是否存在“錯過有用信息”的現象,即沒有收集到分析師需要的報告,導致情報產品出現缺失。這種現象相比前者更難量化。
為此,本研究提出了一個定量模型,將信息優先化系統的性能與其影響聯系起來,通過使用系統所投入的資源和錯過檢測所導致的風險來衡量系統性能。
然而在實際工作中,情報的“有用性”并非是一個絕對的二元變量,而是反應一種程度或者表現為呈趨勢分布。就是說,兩份情報報告可能都有用,只是其中一份非常重要,另一份只是提供信息。這一特點,也為性能評估帶來了更大的難度。
3.2從系統性能角度評估
人工智能情報系統的性能本身直接決定了用戶的時間回報,即可以定量評估:分析師面對的情報數量增加兩倍的時候,有效情報信息是只增加一倍,還是可以增加三倍。
4.結論與建議
4.1 結論
①人工智能情報系統評價標準若與實際優先級不匹配,會直接影響該系統的性能及其優化。因此,應在系統構建之前確定好評價指標。
②系統的有效性及其衡量標準,不僅取決于系統本身的屬性,還取決于如何使用系統。因此,決策者要考慮的一個關鍵問題是,在用于建立人工智能情報系統的資源外,用于情報分析任務的資源到底有多少。
4.2 建議
①選擇恰當的評價指標。這需要詳細了解人工智能情報系統的使用方式,并選擇能夠反映這種使用成功的指標。
②定期進行評估與調整。由于人工智能情報系統的分析環境即使在部署后還會繼續變化與發展,因此系統評估必須作為定期維護的一部分繼續進行。
③發展并使用特定的專業術語。人工智能情報系統設計師擁有一套完善的衡量該系統性能的指標,將這些指標傳播普及將有助于專家在設計新系統或維護現有系統的過程中的相互交流。
④繼續深入研究評估人工智能情報系統有效性的方法。
文章來源于學術plus ,作者學術plus觀察員 編譯:林啟明,譚惠文
1、本文只代表作者個人觀點,不代表本站觀點,僅供大家學習參考;
2、本站屬于非營利性網站,如涉及版權和名譽問題,請及時與本站聯系,我們將及時做相應處理;
3、歡迎各位網友光臨閱覽,文明上網,依法守規,IP可查。
內容 相關信息
人工智能“大殺器”GPT-3遭嚴重質疑:它其實是在“胡言亂語”,OpenAI違背科學倫理
2020-08-25? 昆侖專題 ?
? 高端精神 ?
? 新征程 新任務 新前景 ?
? 習近平治國理政 理論與實踐 ?
? 我為中國夢獻一策 ?
? 國資國企改革 ?
? 雄安新區建設 ?
? 黨要管黨 從嚴治黨 ?
圖片新聞