曾 毅 中國科學院自動化研究所研究員、北京前瞻人工智能安全與治理研究院院長

　　彭飛：回顧2025年，人工智能發展一日千里。大家談到通用人工智能，充滿熱情，而談到超級人工智能，則顧慮重重。2025年10月以來，一份呼吁暫緩研發超級人工智能的聲明，獲得全球一大批科學家、政商界知名人士的簽名。這是為什么？通用人工智能與超級人工智能到底有什么區別？

　　曾毅：目前所說的通用人工智能一般指具有高度泛化能力，接近或達到人類智能水平的信息處理工具，有很廣泛的應用前景。超級人工智能則是指各方面都超過人類智能水平，且被認為是接近生命的存在。這意味著“它”會產生自主意識，且很多想法和行動將難以被人類理解，更難以被人類控制。

　　我們期望超級人工智能是“超級利他”的，但如果是“超級邪惡”怎么辦？有研究發現，當前主流大語言模型在面臨被替換的可能時，竟采取欺騙等方式以自保。更令人震驚的是，當模型意識到自己處于被測試的環境時，會故意掩蓋不當行為。通用人工智能尚且如此，更何況超級人工智能？大家憂慮的正是這種未知感。

　　彭飛：從歷史看，每次重大技術革命都會對經濟社會發展產生重要影響。而且，隨著技術完善、治理跟進，人類發展最終都能趨利避害。超級人工智能為何不會遵循這樣的規律？

　　曾毅：不能簡單把超級人工智能類比為歷史上任何一種技術工具。“它”可能擁有獨立認知并超越人類智能，這一挑戰是前所未有的。“它”帶來的風險和顛覆性改變也絕不限于就業、隱私保護、教育等局部領域，而是系統性的。最核心風險在于對齊失敗和失控。如果超級人工智能的目標與人類價值觀不一致，即使微小偏差也可能在經能力放大后導致災難性后果。人類的負面行為大量存儲在網絡數據中，不可避免會被超級人工智能習得，這極大增加了對齊失敗和失控的風險。因此，在人工智能開發與治理中，時刻都要堅持底線思維，擺脫傳統的被動反應、跟進式的模式，做到未雨綢繆、前瞻布局。

　　彭飛：面對這么緊迫的課題，我們應采取一種怎樣的治理思路？

　　曾毅：從基本原則看，安全必須是發展超級人工智能的“第一性原理”，即安全應成為模型的“基因”，不可刪除，無法違背，不能因為可能影響模型能力而降低安全護欄。應盡可能全面考慮安全隱患并開展模型安全加固，堅持主動防御而非被動應對。

　　從實現路徑看，通過“攻擊—防御—評估”的技術過程不斷更新模型，能有效解決如隱私泄露、虛假信息等典型安全問題，妥善應對短期風險。但從長期看，真正的挑戰在于使超級人工智能與人類期望對齊。目前采取的基于人類反饋的強化學習——即在人機交互中將人類價值觀嵌入人工智能的模式，很可能對超級人工智能無法奏效，迫切需要全新的思維與行動方式。

　　從最終效果看，由于超級人工智能可能擁有自我意識，更安全的理想圖景是使“它”自主產生道德直覺、同理心與利他之心，而非單純依靠外部“灌輸”的價值規則。確保人工智能從合乎倫理變成擁有道德，才能最大限度降低風險。

　　彭飛：超級人工智能的安全問題具有全球性，一旦出現漏洞、失控，影響是跨越國界的。而人工智能的全球競爭又非常激烈，無論國家還是企業，都在爭先。一些發達國家在超級人工智能的研發上更是“油門踩到底”。如何避免盲目競爭導致失控？人工智能治理的全球協作有可能嗎？

　　曾毅：人類需要避免人工智能的發展演變為“軍備競賽”，其危害性不可估量。創造出世界上第一個超級人工智能也許不需要國際合作，但確保超級人工智能對全人類安全可靠，全球合作是必選項。

　　世界需要一個高效率、有執行力的國際機構，來協調人工智能的治理，以確保安全。2025年8月，聯合國大會決定設立“人工智能獨立國際科學小組”和“人工智能治理全球對話”機制，以促進可持續發展和彌合數字鴻溝。這方面的探索還應深入、繼續。

　　各主權國家作為政策制定和執行的主體，尤其是掌握先進技術的發達國家，更有責任和義務防止在規則缺位的條件下盲目發展超級人工智能，造成風險外溢。中國倡導構建人類命運共同體、構建網絡空間命運共同體，強調統籌發展和安全，提出《全球人工智能治理倡議》，值得在全球范圍推廣和踐行。寧可稍稍放慢節奏，把安全的底子筑牢打扎實，也不能急功近利，以免把人類社會引向萬劫不復的危險境地。