文 | 中國兵器工業(yè)計算機應用技術研究所 趙小川 樊迪

人工智能是引領新一輪科技革命和產業(yè)變革的重要驅動力量，正在對經濟發(fā)展、社會進步等方面產生重大而深遠的影響。在以人工智能推進高質量發(fā)展的進程中，要吸取人類歷史上“先發(fā)展、后治理”的深刻教訓，充分認識和評估人工智能存在的風險，加強對人工智能的安全監(jiān)管，從而實現(xiàn)人工智能及其相關產業(yè)的高水平發(fā)展。習近平總書記高度重視統(tǒng)籌人工智能的發(fā)展和安全，圍繞二者的辯證統(tǒng)一關系、筑牢國家安全屏障等作出一系列重要指示，強調要加強對人工智能發(fā)展過程中潛在風險的研判和防范，維護人民利益和國家安全，確保人工智能安全、可靠、可控。

一、數據驅動式人工智能的內涵、特征及發(fā)展

人工智能的概念于1956年在美國達特茅斯會議上提出，目標是讓計算機像人一樣思考與學習。從人工智能的主要驅動機制來講，可以分為以下三類：第一類是經驗規(guī)則驅動的人工智能，它模擬人類邏輯，用符號來表示知識和信息，并通過推理來處理信息，專家系統(tǒng)、知識圖譜、基于規(guī)則的推理系統(tǒng)均屬于經驗規(guī)則驅動的人工智能；第二類是行為反饋驅動的人工智能，其理論基礎是控制論和進化論，通過外部刺激和反饋來實現(xiàn)智能行為，主要包括遺傳算法、蟻群算法、進化算法等；第三類是數據驅動式人工智能，是指利用大量數據來訓練機器學習模型，使其能夠識別目標、做出決策或預測趨勢，主要包括傳統(tǒng)機器學習中高度依賴數據訓練的算法、深度學習、大語言模型、多模態(tài)大模型等，它是人工智能發(fā)展史上新的里程碑，在當前的應用最為廣泛。

數據驅動式人工智能以大規(guī)模數據為核心驅動力，是通過機器學習算法自動從數據中提取模式、規(guī)律和知識，并基于這些學習成果進行預測、分類、生成等智能任務的人工智能技術范式。數據驅動式人工智能與前兩類人工智能的根本區(qū)別在于：經驗規(guī)則驅動的人工智能依賴專家知識和手工構建的規(guī)則庫；行為反饋驅動的人工智能主要通過環(huán)境交互獲得反饋信號進行優(yōu)化；而數據驅動式人工智能則直接從大規(guī)模數據中學習，具有更強的泛化能力和適應性，能夠處理更加復雜和多樣化的任務。

數據驅動式人工智能的主要特征包括以下幾個方面：第一，它具有強大的數據處理能力，能夠處理和分析海量的數據，依賴于數據的數量和質量來提升其分析、判斷、決策能力；第二，它能夠根據新數據不斷調整模型參數和優(yōu)化算法；第三，它能夠實時或近實時地提供決策，為各種應用場景提供快速響應；第四，它高度依賴硬件平臺，對硬件平臺的架構和算力要求較高。

數據驅動式人工智能已廣泛應用于圖像檢測、自動駕駛、語言翻譯等領域。從OpenAI的GPT系列到Google的Gemini，從百度文心一言到近期備受關注的DeepSeek等大語言模型；部署在“蘿卜快跑”等無人駕駛車輛終端的深度神經網絡小模型等都屬于數據驅動式人工智能。當前，它正在由“小模型+判別式”向“大模型+生成式”轉變，文本生成、程序編寫、語音生成、視頻生成、人機交互已成為數據驅動式人工智能的應用熱點。

數據驅動式人工智能是一種先進的技術，應用前景廣闊，對社會的發(fā)展也會產生一定的影響。然而，技術的突飛猛進也會伴隨著風險的陡然上升。著名物理學家霍金就曾表示，強大人工智能的崛起，對人類來說，可能是最好的事情，也可能是最糟糕的事情。因此，我們在創(chuàng)新發(fā)展與廣泛應用數據驅動式人工智能之時，也應加強安全性研判與前瞻性預防，最大限度地降低其所帶來的風險隱患。

二、數據驅動式人工智能的安全風險分析

隨著人工智能大模型、生成式人工智能等技術在各領域廣泛應用，數據偏見、隱私泄露等風險也隨之增加。2025年7月31日，國務院常務會議審議通過《關于深入實施“人工智能+”行動的意見》，提出要提升安全能力水平，加快形成動態(tài)敏捷、多元協(xié)同的人工智能治理格局。

（一）技術層面的風險

數據驅動式人工智能在技術層面存在多種安全風險，主要包括訓練數據投毒、提示注入攻擊、大模型幻覺、敏感信息泄露等，具體如下。

訓練數據投毒主要是指在用于訓練模型的數據中惡意加入錯誤數據或篡改正確數據，影響模型的訓練效果，生成有瑕疵的模型，從而使模型的準確性大大降低。

提示注入攻擊是指攻擊者通過精心構造的輸入（提示詞）來誘導大模型偏離預設行為，甚至繞過安全防護，已被開放式Web應用程序安全項目（OWASP）列為2025年大語言模型應用的頭號安全風險。

大模型幻覺是指大模型的生成結果中包含了無根據的或錯誤的內容，它不同于簡單的知識性錯誤，而是模型在編造與真實世界脫節(jié)的信息，具有隱蔽性強的特點。

敏感信息泄露主要由數據驅動式人工智能的涌現(xiàn)性造成，這種涌現(xiàn)性意味著即使用于訓練模型的數據本身并不包含敏感信息，但模型也可能通過自學能力展示出非敏感數據之間的聯(lián)系及規(guī)律等結論，而這些結論可能是敏感信息，輸出之后可能造成敏感信息泄露。

目前，數據驅動式人工智能的核心架構、調優(yōu)算法、訓練框架等，大部分來自國外。主流大模型的核心架構是美國谷歌公司設計的，調優(yōu)算法是美國的OpenAI公司提出的，訓練框架是基于國外的開源框架，這些技術一旦被美國封控，對我國大模型的發(fā)展勢必會造成極其不利的影響。在自主可控方面，我國雖然取得了一些進步，但其兼容性、工具鏈的完備性等方面與國際先進水平還存在一定差距。

（二）應用層面的風險

除上述技術層面的安全風險外，數據驅動式人工智能在實際應用過程中還面臨著一系列與社會生活深度融合所產生的風險。這些應用層面的風險主要體現(xiàn)在對用戶行為、社會認知和網絡安全等方面的負面影響。

一是過度的個性化推薦，易形成“信息繭房”。“信息繭房”產生的原因是智能推薦系統(tǒng)通?；谟脩舻臍v史行為和偏好來預測其未來的興趣點；用戶更傾向于點擊與自己興趣相符的內容，這會導致智能推薦系統(tǒng)不斷強化這一偏好，從而形成一個反饋循環(huán)，使得用戶越來越難以接觸到不同的信息。人們陷入相對封閉的“信息繭房”困境而毫無覺察，導致對現(xiàn)實情況的誤解和誤判；長此以往，會導致認知扭曲。

二是“投喂式獲取”，影響探索、思考的能力。生成式大模型通過深度學習和自然語言處理技術，可以快速理解人類語言并生成對應的答案。一些使用者只需在生成式大模型對話框中輸入問題便能獲取答案。這種“投喂式獲取”方式存在以下安全隱患：首先是主動探索的興趣逐漸減弱，使用者可能會逐漸習慣于依賴模型來獲取答案，從而減少了自己查詢、探索和驗證信息的耐心，逐漸失去探索問題的好奇心和主動性；其次是逐漸產生思維惰性，由于生成式大模型可以快速提供答案，使用者可能不再愿意投入時間和精力去深入理解、分析復雜的問題。如果使用者，特別是青少年，總是依賴生成式大模型來提供解決方案，那么其創(chuàng)造性思維和解決問題的能力就會受到抑制。

三是“以假亂真”，大模型會根據用戶的指令，生成虛擬的視頻、圖片和音頻。在低成本、規(guī)?；蓛热莸耐瑫r，也具備更強的輿論操控潛力，可精準傳播特定信息，放大影響效應。在社會熱點、災情事故、偽科普等方面，已有多起利用人工智能生成技術制造和傳播虛假信息的案例。

四是“降低網絡犯罪門檻”。大模型可根據用戶要求自動生成用于進行網絡攻擊的程序代碼，給網絡安全帶來了極大的威脅。用戶僅需向大模型輸入簡單的指令或需求，便可獲得釣魚軟件代碼、勒索程序代碼等，這極大地降低了網絡犯罪的難度。

三、進一步加強風險防護的方法

針對上述各類安全風險，需要構建多層次、全方位的防護體系。基于“預防為主、防治結合”的原則，從技術和應用兩個維度制定相應的風險防護策略。

（一）技術層面的風險防護

在數據安全問題的風險防護方面，從技術角度來看，治理對策包括以下四點。一是加強甄別清洗效能，解決訓練數據投毒問題。在模型中添加一個自動過濾預處理模塊，自動剔除不合理數據；該模塊的功能與人腦對輸入的信息具有“去粗取精、去偽存真”的功能類似，從而快速提升輸入到模型訓練中的數據質量。二是加強對用戶輸入（提示詞）的過濾，檢測并攔截包含可疑關鍵詞或符號的輸入（提示詞）。三是采用檢索增強生成技術結合高質量、經過驗證的外部知識庫來增強模型輸出的事實準確性。四是加強對輸出信息的鑒別，解決敏感信息泄露問題。在訓練好的模型輸出端增加對輸出信息進行鑒別的模塊，對模型輸出的疑似敏感信息進行脫敏處理。

在自主可控問題的風險防護方面，面向國家重大需求，針對數據驅動式人工智能領域的“卡脖子”問題，如高性能硬件平臺、模型算法架構、軟件開發(fā)環(huán)境，開展企業(yè)、高校、科研院所聯(lián)合攻關、協(xié)同創(chuàng)新，以科技手段應對風險挑戰(zhàn)；強化企業(yè)創(chuàng)新的主體地位，打造從底層技術、芯片到上層行業(yè)應用的全鏈條產業(yè)生態(tài)體系；對未來發(fā)展方向提前布局，加大支持力度，實現(xiàn)由“國產化替代”向“國產化引領”的跨越式轉變。

（二）應用層面的風險防護

在“信息繭房”問題的風險防護方面，一是增加透明度，讓推薦系統(tǒng)注明為什么推薦某些內容，提供更多的用戶控制選項，允許用戶調整系統(tǒng)的個性化推薦功能。二是鼓勵多樣性，在推薦算法中加入一定程度的隨機功能。三是提升關于“信息繭房”問題的風險意識，制定相關政策和法規(guī)來減少其負面影響。

在“投喂式獲取”問題的風險防護方面，一是通過科普宣傳及科學引導，使人們認識到在使用生成式大模型帶來便捷性的同時，也存在一些局限性和負面影響。二是將生成式大模型作為輔助工具，而不是唯一的信息來源；主動尋找多種資源來驗證和擴展知識。三是對接收到的生成式大模型提供的答案保持適度的懷疑態(tài)度，進行批判性分析，而不是無條件接受；將生成式大模型的答案作為自己思考的補充材料，而不是替代品，立足自己的知識和經驗來進行創(chuàng)新性思考。

在“以假亂真”“降低網絡犯罪門檻”問題的風險防護方面，要加大智能系統(tǒng)生成內容的合規(guī)性檢測力度。一是從政策、法規(guī)、道德、倫理等方面完善智能系統(tǒng)所生成內容的合規(guī)性評判準則，銜接《人工智能生成合成內容標識方法》《新一代人工智能倫理規(guī)范》等人工智能倫理規(guī)范的要求，將核心價值觀深度融入人工智能模型研發(fā)的全生命周期。二是組織高校、科研機構針對“深度偽造”的檢測與防御、生成的惡意代碼的識別與攔截等關鍵技術進行持續(xù)深入的科研攻關，綜合運用多特征深度分析、多模態(tài)信息交叉驗證等方法，快速、準確地尋找偽造、篡改痕跡，并不斷進行技術的升級迭代。三是完善視頻、音頻創(chuàng)建標識制度，對“深度偽造”的視頻、音頻進行標識，避免引起公眾混淆或誤認。

當前，世界各國及地區(qū)普遍重視人工智能安全的相關立法工作。2019年，加拿大頒布了《自動化決策指令》；2020年，新西蘭制定了《算法憲章》；2022年，美國發(fā)布了《人工智能權利法案藍圖》；2024年，歐洲議會通過了歐盟《人工智能法案》；2022年至2023年，我國先后發(fā)布了《互聯(lián)網信息服務算法推薦管理規(guī)定》《互聯(lián)網信息服務深度合成管理規(guī)定》《生成式人工智能服務管理暫行辦法》等。然而，隨著數據驅動式人工智能的快速發(fā)展，應用領域的不斷拓展，使用人群數量的不斷增加，新的風險隱患也會不斷出現(xiàn)，需要進一步完善相關法律法規(guī)。一是對新型隱私數據的保護。目前，人們的生活習慣、生理特征、社交行為、交通軌跡等也已成為訓練數據，供大模型進行學習、優(yōu)化，需要完善此類新型數據保護和隱私侵犯問題的法律監(jiān)管制度。二是面向交叉領域的安全性法律法規(guī)。由于數據驅動式人工智能在應用的時候并不是孤立的，需要在不同的領域與不同的平臺進行深度融合。這種融合會產生新的安全問題，所以需要加快面向交叉領域的安全相關法律法規(guī)的確立。

四、結 語

當前，新一輪科技革命和產業(yè)變革迅猛發(fā)展，人工智能等新技術方興未艾，大幅提升了人類認識世界和改造世界的能力，同時也帶來一系列難以預知的風險挑戰(zhàn)。

數據驅動式人工智能作為新質生產力的重要推動力量，正在蓬勃發(fā)展。其獨特的數據依賴性、學習適應性和生成創(chuàng)造性，既為經濟社會發(fā)展注入強勁動能，也衍生出一系列技術、應用層面的風險。這些風險具有隱蔽性強、傳播速度快、影響范圍廣的特點，對傳統(tǒng)的安全治理模式提出了新的考驗。面向未來，我們要秉承“邊預防、邊發(fā)展、邊治理”的理念應對風險挑戰(zhàn)。在技術維度，要突破核心算法、框架平臺等關鍵環(huán)節(jié)的“卡脖子”問題；在應用維度，要強化全生命周期風險管控，對潛在的風險進行前瞻性預判，對暴露出的問題進行有效整治；在治理維度，要加快完善相關法律法規(guī)，形成政府監(jiān)管、行業(yè)自律、社會監(jiān)督的協(xié)同治理格局。唯有堅持發(fā)展與安全并重，創(chuàng)新與規(guī)范同行，才能確保數據驅動式人工智能在推動高質量發(fā)展的進程中行穩(wěn)致遠。

（本文刊登于《中國信息安全》雜志2025年第9期）