AI 代理出事不再各自處理 NVIDIA 等業界成員推 SAFE 共享指引

隨著AI代理開始接觸企業資料、呼叫工具並自行埀行任務，資安事件也不再只是單一模型的漏洞。適逢年度Black Hat大會在美國拉斯維加斯登場，Linux Foundation針對共享AI發現交換機制（Shared AI Findings Exchange，SAFE）發布徵求意見書，希望建立一套跨企業通報與共享機制，讓個別AI代理發生的資安事件，能轉化為整個產業共同使用的防護經驗。

SAFE目前由開放安全AI聯盟（Open Secure AI Alliance）工作小組起草，參與成員包括NVIDIA、思科、CrowdStrike、Hugging Face及Red Hat等業者。聯盟規模目前已超過120個組織，SAFE則仍處於提案及徵求意見階段，尚未成為正式標準。

依照初步構想，SAFE將以保密方式蒐集及分析AI資安事件與未遂事件，並建立受影響對象通知機制，同時找出反覆發生的控制失效，進一步提出以實際證據為基礎的防護建議。核心目標是讓企業不必各自面對相同攻擊，也能在兼顧機密資訊的前提下，分享威脅情報與防禦方法。

這套指引鎖定的並不只是AI模型。AI代理還涉及身分與權限、代理協調框架（harness）、外部工具、執行環境、操作紀錄及安全評估；只要其中一個環節失守，便可能出現提示詞注入、工具投毒、權限濫用或資料外洩。因此，代理型AI的防護不能只靠傳統漏洞掃描，而要從代理取得權限、執行任務到留下紀錄，全程建立可追蹤及可稽核的控制機制。

NVIDIA此次提供的工具橫跨代理安全堆疊。其中，NVIDIA Labs Object-Oriented Agent（NOOA）研究框架，可用於測試、追蹤及稽核代理行為；NVIDIA OpenShell則從執行環境限制代理可以查看、存取及操作的內容。NVIDIA也針對開放代理技能加入提示詞注入與工具投毒掃描、密碼學簽署及技能卡，讓使用者能確認技能來源、功能及發布後是否遭到修改。

模型安全方面，NVIDIA提供NeMo Guardrails、NeMo Anonymizer及NeMo Safe Synthesizer，分別協助企業落實安全政策、保護敏感資料及建立符合隱私要求的合成資料；開源大型語言模型漏洞掃描器Garak，則可在模型發布前檢查資料外洩、提示詞注入及越獄風險。

聯盟其他成員則從不同環節補上防護缺口。Amazon提供代理開發工具Strands Agents及存取控制語言Cedar；微軟開源PyRIT、RAMPART及Assert，用於自動化紅隊測試、重現資安事件及執行安全評估；Red Hat的asago則能將NIST、OWASP及歐盟人工智慧法案等治理要求，直接連結至代理在執行階段可以採取的行動。

企業實際導入的規模也逐漸放大。CrowdStrike以NVIDIA Nemotron Nano模型進行資安防禦微調，內部測試顯示，在Falcon LogScale產生調查查詢的準確度達96%；Uber開源的代理型AI偵測與回應系統（ADR），目前每日可處理超過20萬個代理工作階段、涵蓋3萬個端點，並能重建從提示詞、推理、工具呼叫到執行結果的完整因果鏈。

SAFE目前雖仍在徵求意見，但業界推動方向已相當明確：當AI代理從提供答案走向直接執行任務，資安機制也必須從單點防護，進一步走向跨企業通報、事件重現及集體防禦。