近日，微軟開源了 AI 安全風(fēng)險(xiǎn)評估工具 Counterfit，該工具旨在幫助開發(fā)人員測試 AI 和機(jī)器學(xué)習(xí)系統(tǒng)的安全性。該公司表示，Counterfit 可以使組織進(jìn)行評估，以確保其業(yè)務(wù)中使用的算法是可靠和可信賴的。

　　當(dāng)前，人工智能技術(shù)正越來越多地應(yīng)用在醫(yī)療，金融和國防等受監(jiān)管的行業(yè)中。但是，組織在采用風(fēng)險(xiǎn)緩解策略方面處于落后狀態(tài)。一個(gè)微軟的調(diào)查發(fā)現(xiàn)，部分企業(yè)用戶表示，他們沒有合適的資源，以確保他們的 AI 系統(tǒng)的穩(wěn)定性和安全性。

　　微軟表示，Counterfit 誕生于該公司評估 AI 系統(tǒng)是否存在漏洞的需求，目的是主動保護(hù) AI 服務(wù)。該工具起初是專門為目標(biāo) AI 模型編寫的攻擊腳本集，然后演變?yōu)樽詣踊a(chǎn)品以對多個(gè)系統(tǒng)進(jìn)行大規(guī)模基準(zhǔn)測試。

　　在底層，Counterfit 是一個(gè)命令行實(shí)用程序，為對抗性框架提供了一層，并預(yù)先加載了可用于逃避和竊取模型的算法。Counterfit 尋求使安全社區(qū)可以訪問已發(fā)布的攻擊，同時(shí)提供一個(gè)界面，通過該界面可以構(gòu)建，管理和發(fā)起模型攻擊。

　　當(dāng)使用 Counterfit 在 AI 系統(tǒng)上進(jìn)行滲透測試時(shí)，安全團(tuán)隊(duì)可以選擇默認(rèn)設(shè)置，設(shè)置隨機(jī)參數(shù)或自定義每個(gè)參數(shù)以覆蓋廣泛的漏洞。具有多個(gè)模型的組織可以使用 Counterfit 的內(nèi)置自動化功能進(jìn)行掃描，并可以選擇多次掃描，以創(chuàng)建操作基準(zhǔn)。

　　Counterfit 還提供日志記錄以記錄針對目標(biāo)模型的攻擊。正如微軟指出的那樣，遙測技術(shù)可能會促使工程團(tuán)隊(duì)提高對系統(tǒng)故障模式的了解。

　　在內(nèi)部，微軟將 Counterfit 用作其 AI 紅色團(tuán)隊(duì)運(yùn)營的一部分，并在 AI 開發(fā)階段中使用，以在漏洞投入生產(chǎn)之前發(fā)現(xiàn)漏洞。該公司還表示，它已經(jīng)與多家客戶進(jìn)行了 Counterfit 的測試，其中包括航空航天巨頭空客公司(Airbus)，該公司正在開發(fā)基于 Azure AI 服務(wù)的 AI 平臺。

　　“人工智能在工業(yè)中的使用越來越多”。空客公司高級網(wǎng)絡(luò)安全研究員 Matilda Rhode 在一份聲明中說：“確保這種技術(shù)的安全至關(guān)重要，特別是要了解在問題空間中可以在何處實(shí)現(xiàn)特征空間攻擊。”

　　基本上，企業(yè)希望人們相信 AI 是不受操縱，是安全的。1 月發(fā)布的 Gartner 的“管理 AI 風(fēng)險(xiǎn)的 5 大優(yōu)先事項(xiàng)”框架中的一項(xiàng)建議是，組織“ 針對攻擊性攻擊采取特定的 AI 安全措施，以確保抵抗和復(fù)原力。”這家研究公司估計(jì)，到 2024 年，實(shí)施專門的 AI 風(fēng)險(xiǎn)管理控制的組織將避免負(fù)面的 AI 結(jié)果的發(fā)生頻率是未消除負(fù)面結(jié)果的兩倍。”

　　根據(jù) Gartner 的 一份報(bào)告，到 2022 年，所有 AI 網(wǎng)絡(luò)攻擊中有 30%將利用訓(xùn)練數(shù)據(jù)中毒，模型盜竊或?qū)剐詷颖竟粢詸C(jī)器學(xué)習(xí)為動力的系統(tǒng)

特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時(shí)聯(lián)系我們，本站將會在24小時(shí)內(nèi)處理完畢。