比盛夏的上海更火熱的是2024世界人工智能大會暨人工智能全球治理高級別會議（以下簡稱“WAIC 2024”）。大會線下參觀人數突破30萬人次，創歷史新高。

　　值得注意的是，WAIC 2024的首發首秀不僅涉及模型更新換代，還涵蓋應用、平臺、系統等。行業和觀眾的目光更多投向與模型落地緊密相關的交互體驗、商業模式等領域。

　　一個引發廣泛關注的問題是，隨著大模型能力不斷增強，其安全性、可靠性、可控性也日益受到挑戰。尤其是面對行業用戶合法合規、精準可控等要求，大模型可能存在的數據安全、幻覺等成為繞不過的問題。

　　中國信息通信研究院華東分院人工智能事業部主任常永波說，應用價值與應用安全是大模型發展的兩翼，當前大模型已進入快速迭代期，在積極探索落地應用的同時，大模型廠商也要高度重視應用場景需求下對安全的行業要求。

　　技術自身缺陷不容忽視

　　依托龐大參數規模、海量訓練數據、強大算力資源，大模型作為人工智能領域最熱門的技術分支，已在多個領域表現出超越人類的能力。

　　“金融、醫療、教育、政務、制造等眾多領域都在積極探索大模型安全應用范式，以應對大模型安全風險。”常永波介紹，伴隨大模型的深度應用，產學研用各方都在加強大模型安全威脅和防御技術體系研究。在原有可信人工智能治理體系框架基礎上，提升大模型的魯棒性、可解釋性、公平性、真實性等能力成為行業研究熱點。安全評測技術和安全防御技術的不斷成熟，有效護航大模型發展。

　　WAIC 2024上，清華大學、中關村實驗室、螞蟻集團等機構聯合撰寫的《大模型安全實踐（2024）》白皮書（以下簡稱“白皮書”）正式發布。白皮書顯示，大模型技術存在自身缺陷，包括生成內容不可信、能力不可控以及外部安全隱患等問題。

　　“幻覺是大模型目前比較難解決的問題。”常永波說，模型在遵循語法規則的同時，可能產生虛假或無意義的信息。這一現象源于大模型基于概率推理的輸出方式。它可能導致對模糊預測的過度自信，從而編造錯誤或不存在的事實，影響生成內容的可信度。“智能涌現”是大模型的另一種效應，它可以讓模型展現出色性能，也具有突發性、不可預測性和不可控性等特征。

　　另外，大模型的脆弱性和易受攻擊性使外部安全隱患難以消除。相關數據顯示，隨著大模型技術快速發展，相關網絡攻擊也在增多。

　　聚焦安全可靠可控性建設

　　大模型帶來的種種風險，對監管方、學術界、產業界是全新且不可回避的問題。

　　近年來，《互聯網信息服務算法推薦管理規定》《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》《科技倫理審查辦法（試行）》等政策法規相繼發布，搭建起我國人工智能治理的基本框架。一系列政策法規堅持發展與安全并重原則，強化科技倫理風險防控，從技術發展與治理、服務規范、監督檢查與法律責任等層面對大模型安全發展提出要求。

　　白皮書提出，構建大模型安全政府監管、生態培育、企業自律、人才培養、測試驗證“五維一體”的治理框架。

　　在監管方面，常永波介紹，敏捷治理正成為一種新型治理模式。該模式以柔韌、流動、靈活及自適應為特點，倡導多元利益相關者共同參與，能快速響應環境變化。在實施治理策略時，結合柔性倫理規范和硬性法律法規，構建完善的治理機制，在規制大模型風險的同時平衡創新與安全。

　　“為確保大模型在實際應用中發揮最大效能，防止潛在風險和濫用，大模型建設通常會聚焦三個重要維度：安全性、可靠性和可控性。”螞蟻集團安全實驗室首席科學家王維強解釋，安全性意味著確保模型在所有階段都受到保護，防止任何未經授權的訪問、修改或感染，保障人工智能系統無漏洞、免誘導；可靠性要求大模型在各種情境下都能持續提供準確、一致、真實的結果，這對于決策支持系統尤為重要；可控性關乎模型在提供結果和決策時能否讓人類了解和介入，以便人類根據需要進行調適和操作。

　　王維強特別提到時下備受關注的Agent（智能體）。他說，Agent是目前大模型落地的關鍵路徑，但復雜的Agent體系進一步擴大了大模型風險敞口。目前RAG（檢索增強生成）、指令遵循、知識圖譜嵌入等方法可有針對性地提升模型輸出的可控性和準確性。

　　合力推動人工智能健康發展

　　“目前來看，讓大模型完全不犯錯幾乎不可能，但減小犯錯幾率，減弱錯誤危害性，是可以做到的。”常永波說，安全治理需產學研共同發力，中國信息通信研究院已開展一系列標準和測評研究，頭部廠商也在加速構建自身的安全和治理體系。

　　螞蟻集團安全內容智能負責人趙智源介紹了相關經驗。一方面，在大模型產品投入應用前，企業需做好全面評測，對暴露出的安全問題展開針對性防御，把好入口關；相關產品進入市場后，也要時刻監控可能出現的風險隱患，進行技術補救和改進。另一方面，模型技術通常跑在安全技術前，行業研究要保持一定前瞻性。

　　“我們很早就開始探索基于安全知識構建視覺領域生成內容風險抑制的技術。在多模態大模型發布后，我們又將這一技術集成到多模態基座中，降低風險內容生成比例。”趙智源介紹，螞蟻集團已構建起面向產業級應用的大模型安全一體化解決方案“蟻天鑒”2.0版本，形成包括大模型基礎設施測評、大模型X光測評等在內的測評和防御技術鏈條，并已運用于金融、政務、醫療等專業場景下的AI應用全流程。

　　常永波說，大模型落地門檻正在大幅降低，大量中小企業在模型安全治理方面的能力較弱，有些甚至不符合基本的合規要求。解決這些問題，需要監管的進一步引導和頭部廠商的能力釋放。

　　“我們現在已把‘蟻天鑒’的測評能力框架開源，將來也會把檢測能力以及對風險的認知更多分享到平臺上，它可以適配較多模型。希望我們提供的開放能力能幫助大模型行業持續健康發展。”王維強說，模型廠商離用戶最近，可第一時間發現安全隱患，并通過和監管保持良性溝通互動，助力大模型安全落地。

　　清華大學長聘副教授李琦認為，大模型安全應用是一個新興領域，研究和應用尚處于起步階段。隨著新的實踐不斷深入發展，相關技術也會持續升級，為建構大模型安全實踐范式打造高價值參考體系。

　　人工智能治理是全球性問題。WAIC 2024開幕式上發布的《人工智能全球治理上海宣言》提出，高度重視人工智能的安全問題。宣言強調，以發展的眼光看問題，在人類決策與監管下，以人工智能技術防范人工智能風險，提高人工智能治理的技術能力。宣言呼吁，推動制定和采納具有廣泛國際共識的人工智能的倫理指南與規范，引導人工智能技術的健康發展，防止其被誤用、濫用或惡用。