首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 報告 >> 正文

《大模型安全研究報告(2024年)》正式發(fā)布

2024年9月24日 08:57  中國信通院  

全球大模型技術(shù)競賽正推動人工智能向通用強智能發(fā)展,引發(fā)人機交互和應(yīng)用研發(fā)模式變革。大模型在各行業(yè)的廣泛應(yīng)用為第四次工業(yè)革命提供動力,但同時也帶來安全風險,如模型“幻覺”和指令注入攻擊。國際組織和主要國家通過制定治理原則、法律法規(guī)和技術(shù)標準來應(yīng)對這些挑戰(zhàn)。同時,大模型在邏輯推理、任務(wù)編排等方面的卓越能力,為解決網(wǎng)絡(luò)空間安全瓶頸問題帶來了新的機遇。

為有效防范和消減大模型的安全風險,并促進其在安全領(lǐng)域的應(yīng)用,阿里云聯(lián)合中國信息通信研究院等30余家行業(yè)單位共同編制《大模型安全研究報告(2024年)》,并于2024年9月19日云棲大會AI治理與安全論壇上發(fā)布。

報告凝聚業(yè)界專家共識,聚焦當前大模型突出安全風險和網(wǎng)絡(luò)空間安全瓶頸問題,從大模型自身安全和大模型賦能安全兩個維度,提出涵蓋安全目標、安全屬性、保護對象、安全措施四個方面的大模型自身安全框架,以及大模型賦能安全框架。期待這些框架能為社會各方提供有益參考,共同推動大模型技術(shù)產(chǎn)業(yè)的健康發(fā)展。

報告主要內(nèi)容包括:

1. 大模型安全風險地圖

為盡可能全面應(yīng)對大模型領(lǐng)域的基礎(chǔ)共性安全挑戰(zhàn),本報告優(yōu)先對語言、多模態(tài)等各類基礎(chǔ)大模型系統(tǒng)的安全風險進行系統(tǒng)梳理。與此同時,參考ISO/IEC 5338-2023 《人工智能系統(tǒng)生命周期過程》國際標準,將基礎(chǔ)大模型系統(tǒng)抽象為訓練數(shù)據(jù)、算法模型、系統(tǒng)平臺和業(yè)務(wù)應(yīng)用4個重要組成部分,并通過描繪這四個組成部分面臨的重要和一般安全風險,形成大模型安全風險地圖,共涵蓋21個安全風險。

2. 大模型自身安全框架

為消減大模型面臨的基礎(chǔ)共性安全風險出發(fā),提出了涵蓋安全目標、安全屬性、保護對象、安全措施四個層面的大模型自身安全框架,構(gòu)建了保障大模型安全的整體解決方案。同時,提出訓練數(shù)據(jù)、模型算法、系統(tǒng)平臺、業(yè)務(wù)應(yīng)用四方面中共計16項安全保護措施。

3. 大模型賦能安全框架

結(jié)合行業(yè)實踐情況,本報告重點闡述大模型在網(wǎng)絡(luò)安全、數(shù)據(jù)安全、內(nèi)容安全三個領(lǐng)域的潛在應(yīng)用方向。網(wǎng)絡(luò)安全領(lǐng)域,大模型可應(yīng)用于安全威脅識別、保護、檢測、響應(yīng)、恢復等多個保護環(huán)節(jié)中的關(guān)鍵場景。數(shù)據(jù)安全領(lǐng)域,大模型可應(yīng)用于數(shù)據(jù)分類分級、APP(SDK)違規(guī)處理個人信息檢測等場景。內(nèi)容安全領(lǐng)域,大模型可應(yīng)用于文本內(nèi)容安全檢測、圖像視頻內(nèi)容安全檢測和音頻內(nèi)容安全檢測等場景。

編 輯:路金娣
飛象網(wǎng)版權(quán)及免責聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對于經(jīng)過授權(quán)可以轉(zhuǎn)載,請必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點和對其真實性負責。
3.如因作品內(nèi)容、版權(quán)和其它問題,請在相關(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
中國電信邵廣祿:面向AI大模型的智算集群及網(wǎng)絡(luò)的實踐和展望
精彩專題
2024年國際信息通信展
中國信科亮相2024年國際信息通信展
第25屆中國國際光電博覽會
2024年上半年運營商業(yè)績盤點
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復制、鏡像