2024大模型安全研究報告-將引領(lǐng)安全工作模式的變革

當前，由 ChatGPT 引發(fā)的全球大模型技術(shù)競賽正推動(dòng)人工智能由專(zhuān)用弱智能向通用強智能邁進(jìn)， 這不僅標志著(zhù)智能水平的顯著(zhù)提升，也預示著(zhù)人機交互方式和應用研發(fā)模式的重大變革。大模型在 各行各業(yè)的廣泛應用，為第四次工業(yè)革命的爆發(fā)提供了蓬勃動(dòng)力和創(chuàng )新潛力。

然而，隨著(zhù)大模型商業(yè)化應用和產(chǎn)業(yè)化落地加速，大模型技術(shù)局限和惡意使用不僅加劇了原有人工 智能安全風(fēng)險，也引入了模型“幻覺(jué)”、指令注入攻擊、網(wǎng)絡(luò )攻擊平民化等新型風(fēng)險。面對這些挑 戰，國際組織和世界主要國家正通過(guò)制定治理原則、完善法律法規、研制技術(shù)標準等方式，積極開(kāi) 展大模型安全治理。同時(shí)，大模型在邏輯推理、任務(wù)編排等方面的卓越能力，為解決網(wǎng)絡(luò )空間安全 瓶頸問(wèn)題帶來(lái)了新的機遇。

隨著(zhù)各類(lèi)大模型與經(jīng)濟社會(huì )的深度融合，其技術(shù)局限和潛在惡意使用不僅威脅大模型系統自身的安全穩定運行， 也可能為使用大模型的各行各業(yè)帶來(lái)非預期安全影響。

為盡可能全面應對大模型領(lǐng)域的基礎共性安全挑戰，本報告優(yōu)先對語(yǔ)言、多模態(tài)等各類(lèi)基礎大模型系統的安全 風(fēng)險進(jìn)行系統梳理。與此同時(shí)，參考 ISO/IEC 5338-2023 《人工智能系統生命周期過(guò)程》國際標準，將基礎大 模型系統抽象為訓練數據、算法模型、系統平臺和業(yè)務(wù)應用四個(gè)重要組成部分，并通過(guò)描繪這四個(gè)組成部分面 臨的重要和一般安全風(fēng)險，形成大模型安全風(fēng)險地圖，如圖 1 所示。其中，重要風(fēng)險是發(fā)生概率高和影響程度 大的風(fēng)險，一般風(fēng)險則反之。

短期來(lái)看，大模型將顯著(zhù)提升現有安全技術(shù)的性能和智能化水平。得益于大模型在數據理解、意圖識別、任務(wù) 編排等方面的能力，在安全問(wèn)答、安全運營(yíng)、數據分類(lèi)分級、違規處理個(gè)人信息檢測、音視圖文內容安全檢測 等關(guān)鍵網(wǎng)絡(luò )安全場(chǎng)景中，大模型能夠在大幅減少人工參與的同時(shí)，有效提升安全事件處理的效率和準確性。

長(cháng)期來(lái)看，大模型有潛力成為安全防護的核心，從而改變安全的工作模式。當前，大模型主要扮演安全從業(yè)人 員的輔助工具，用于提高他們的工作效率和效能。未來(lái)，隨著(zhù)大模型在自主研判和決策能力方面的提升，它們 預期將進(jìn)化為安全從業(yè)人員的合作伙伴，共同應對安全風(fēng)險的識別、防御、檢測、響應和恢復等一系列復雜工作。 此外，大模型在數據安全、內容安全等領(lǐng)域也將發(fā)揮關(guān)鍵作用。大模型預計將引領(lǐng)安全工作模式的變革，從依賴(lài)安全人員調度和使用安全工具，轉變?yōu)橐源竽Ｐ蜑楹诵恼{度并智能化使用安全工具。

附件：2024大模型安全研究報告-將引領(lǐng)安全工作模式的變革