《大模型安全實(shí)踐（2024）》白皮書深入分析了大模型技術(shù)的安全風(fēng)險(xiǎn)，并提出了全面的安全治理框架和建議，以確保大模型技術(shù)的穩(wěn)健與負(fù)責(zé)任發(fā)展。
大模型作為AI領(lǐng)域的一個(gè)重要分支，日益成為推動(dòng)社會(huì)進(jìn)步和創(chuàng)新的關(guān)鍵力量。依托于龐大的參數(shù)規(guī)模、海量的訓(xùn)練數(shù)據(jù)、強(qiáng)大的算力資源，大模型在多個(gè)領(lǐng)域的能力已超越人類。而縱觀歷史，每一輪新技術(shù)革命都會(huì)帶來社會(huì)的變革與不確定性，隨著大模型能力的不斷增強(qiáng)，大模型的安全性、可靠性、可控性正面臨前所未有的挑戰(zhàn)。
伴隨大模型的深度應(yīng)用，產(chǎn)學(xué)研用各方也加強(qiáng)了大模型安全威脅和防御技術(shù)體系研究，在原有可信人工智能治理體系框架基礎(chǔ)上，提升大模型的魯棒性、可解釋性、公平性、真實(shí)性、價(jià)值對(duì)齊、隱私保護(hù)等方向的能力成為行業(yè)研究熱點(diǎn)。安全評(píng)測(cè)技術(shù)和安全防御技術(shù)不斷成熟也有效護(hù)航了大模型發(fā)展。
大模型正在成為推動(dòng)各垂類領(lǐng)域產(chǎn)業(yè)升級(jí)的關(guān)鍵核心力量。金融、醫(yī)療、教育、政務(wù)、制造等眾多領(lǐng)域都在積極探索大模型安全應(yīng)用范式，以應(yīng)對(duì)大模型安全風(fēng)險(xiǎn)。大模型安全實(shí)踐案例從系統(tǒng)化的角度為大模型數(shù)據(jù)、訓(xùn)練、部署、應(yīng)用等環(huán)節(jié)提供安全應(yīng)用經(jīng)驗(yàn)，展示了如何有效地識(shí)別和防控大模型風(fēng)險(xiǎn)，促進(jìn)了業(yè)內(nèi)最佳實(shí)踐的交流和分享，助力了大模型安全生態(tài)發(fā)展。
本報(bào)告在分析了大模型發(fā)展趨勢(shì)挑戰(zhàn)的基礎(chǔ)上，提出了大模型安全實(shí)踐總體框架，并從安全性、可靠性、可控性以及評(píng)測(cè)四個(gè)角度對(duì)大模型安全技術(shù)進(jìn)行了深度剖析。最后，在大模型安全未來發(fā)展趨勢(shì)基礎(chǔ)上，提出了大模型安全“五維一體”治理框架，對(duì)于大模型安全生態(tài)形成、大模型可持續(xù)發(fā)展具有非常重要和積極的意義。
附件：大模型安全實(shí)踐白皮書2024-安全性、可靠性、可控性以及評(píng)測(cè)四個(gè)角度剖析
白皮書將聚焦中國(guó)未來核心產(chǎn)業(yè)的發(fā)展方向，從人工智能、智能制造、大消費(fèi)、生命科學(xué)、碳中和等五大產(chǎn)業(yè)出發(fā)，探討中國(guó)將如何迎接下一波增長(zhǎng)浪潮
大模型領(lǐng)域人才供需比為1.76,整體供大于求,但高端技術(shù)崗位如云計(jì)算和算法仍緊缺,薪酬漲幅保持在30%-50%,65.79%每周工作超50小時(shí),從業(yè)者中82%因技術(shù)和前景而主動(dòng)加入
設(shè)備精度提升以及對(duì)更精準(zhǔn)診斷的追求使得我國(guó)醫(yī)學(xué)影像數(shù)據(jù)大量積累人工智能可以充分利用這些數(shù)據(jù)進(jìn)行模型訓(xùn)練；提高了醫(yī)學(xué)診斷效率， 減輕了醫(yī)生工作負(fù)擔(dān)、促進(jìn)了醫(yī)療資源均衡分配
智能體將深入復(fù)雜任務(wù)處理，手機(jī)和電腦智能體將引發(fā)應(yīng)用生態(tài)變革;報(bào)告討論了AIAgent產(chǎn)品的構(gòu)建方式和市場(chǎng)策略，強(qiáng)調(diào)了大模型技術(shù)基礎(chǔ)和行業(yè)數(shù)據(jù)的重要性
AI生產(chǎn)力工具市場(chǎng)快速發(fā)展，用戶規(guī)模和產(chǎn)品類型激增，以AI搜索、寫作、翻譯等應(yīng)用為核心的工具正推動(dòng)工作效率和創(chuàng)造力的提升,生成式AI市場(chǎng)預(yù)計(jì)將達(dá)到4000億元
國(guó)內(nèi)AI大模型行業(yè)迅速發(fā)展,形成“6+2”競(jìng)爭(zhēng)格局,產(chǎn)品覆蓋C端和B端，聚焦金融、教育等行業(yè),報(bào)告概括了AI大模型行業(yè)的主要參與者、核心競(jìng)爭(zhēng)力、產(chǎn)品與服務(wù)、融資情況以及未來趨勢(shì)
報(bào)告強(qiáng)調(diào)AI對(duì)教育現(xiàn)代化的重要性,指出AI能實(shí)現(xiàn)個(gè)性化教學(xué),減輕教師負(fù)擔(dān)，并提高教育管理效率,提出了數(shù)據(jù)安全、技術(shù)倫理和教師適應(yīng)性等挑戰(zhàn)
2024-2025 年國(guó)內(nèi)有兩條落地線、 8 個(gè)落地方向，8 大落地場(chǎng)景模型可以囊括所有 AI 應(yīng)用落地；利 益相關(guān)者基于各自的觀測(cè)點(diǎn)運(yùn)用“交易思維”進(jìn)行決策，同時(shí)可 將國(guó)內(nèi)外巨頭的最新決策作輔助參考
國(guó)產(chǎn)廠商應(yīng)用落地優(yōu)勢(shì)開始展現(xiàn)，文心一言、阿里通義千問、豆包等大廠產(chǎn)品用戶量高位持續(xù)增長(zhǎng);產(chǎn)品形態(tài)上，國(guó)內(nèi)APP端增速表現(xiàn)迅猛、技術(shù)擴(kuò)散之下國(guó)內(nèi)應(yīng)用端機(jī)會(huì)更為明確
以 Sora 為例，其在生成視頻時(shí)長(zhǎng)、內(nèi)容邏輯一致性、視頻分鏡等方面形成突破;類似 Sora 的文生視頻模型在上線后的玩法迭代、用戶體驗(yàn)優(yōu)化等方面同樣具備深刻意義
節(jié)發(fā)布豆包主力模型價(jià)格僅0.8元/百萬tokens；阿里通義主力模型輸入價(jià)格0.5元/百萬tokens；百度文心大模型中有2款5月21日起免費(fèi);算力和模型端的價(jià)格下降使得AI應(yīng)用的開發(fā)成本大幅下降
通過 AI 翻譯技術(shù)助力海外閱讀平 臺(tái) WebNovel 快速發(fā)展，24H1WebNovel 暢銷榜 Top100 中 AI 翻譯作品占 比約 40%;有望帶來 IP 創(chuàng)作方面的進(jìn)一步發(fā)展
