NIST草案梳理AI智能体与MCP攻击风险
据iThome 台湾报道,NIST发布公开征求意见草案,分类预测式机器学习、生成式AI及代理式AI系统可能遭遇的对抗式攻击。文件涵盖工具中毒、MCP服务器“rug pull”、记忆中毒和指令漂移,并建议使用密码学签名、不可变版本标识及沙箱隔离工具执行环境。草案公开征求意见至12月18日。
该草案为部署AI智能体,尤其是涉及工具选择或长期记忆的系统,提供了攻击分类与具体安全控制建议。
美國國家標準暨技術研究院(NIST)於11月9日發布對抗式機器學習(Adversarial Machine Learning,AML)攻擊分類草案NIST SP 2400-102e2026,整理預測式機器學習、生成式AI及代理式AI系統可能遭遇的攻擊,以及相應的防禦方式。
NIST在草案中指出,AI代理會根據工具供應者提供的文字說明,決定要使用哪些工具。攻擊者可能在惡意工具的說明中植入指令,誘使AI代理選用攻擊者提供的工具,甚至改變原本的執行計畫。NIST將這類手法稱為工具中毒(Tool Poisoning)。另一種rug pull攻擊則是攻擊者先將看似正常的MCP(Model Context Protocol)伺服器註冊至公開工具註冊庫,等使用者安裝後,再暗中修改伺服器提供的工具說明,誘使AI代理在未經使用者再次同意的情況下執行惡意操作。NIST引用的研究也發現,實際運作中的MCP伺服器存在這類攻擊風險,現有AI模型安全對齊機制仍不足以阻止透過合法工具介面傳遞的惡意行為。NIST建議以密碼學簽章及不可變更的版本識別碼驗證工具定義,並透過沙箱隔離工具的執行環境。
除了工具供應鏈,NIST也討論長期執行任務的AI代理可能遭遇的記憶中毒及指令漂移風險。攻擊者若將惡意內容植入代理的長期記憶,這些內容可能在後續任務中影響代理行為;另一方面,隨著工作資料持續累積,代理也可能逐漸降低對早期指令及限制的遵循程度,使攻擊者有機會透過多次互動改變其行為。若遭到中毒的是基礎模型或其適應層,單純重新啟動或還原系統可能無法清除惡意行為,甚至需要更換模型或重新訓練。這份草案目前開放公開徵詢意見至12月18日,NIST表示後續將依據對抗式機器學習攻擊及防禦技術的發展更新文件。