Create

Sign in to ReadmeX

or

How we handle your data: Privacy Policy

ReadmeX

Your AI reading companion

What would you like to catch up on?

Pick a briefing, or ask your own question.

Your community and people briefings stay personal to you.

Story

NIST draft maps adversarial attacks on AI agents and MCP tools

AI summary

NIST released a public-comment draft classifying adversarial attacks against predictive machine learning, generative AI and agentic AI systems, according to iThome 台湾. The document covers tool poisoning, MCP server rug pulls, memory poisoning and instruction drift, and recommends cryptographic signatures, immutable version identifiers and sandboxed tool execution. The draft is open for public comment through December 18.

In-depth insight

The draft provides a security taxonomy and concrete controls for AI agent deployments, particularly where agents select tools or retain memory across long-running tasks.

美國國家標準暨技術研究院(NIST)於11月9日發布對抗式機器學習(Adversarial Machine Learning,AML)攻擊分類草案NIST SP 2400-102e2026,整理預測式機器學習、生成式AI及代理式AI系統可能遭遇的攻擊,以及相應的防禦方式。

NIST在草案中指出,AI代理會根據工具供應者提供的文字說明,決定要使用哪些工具。攻擊者可能在惡意工具的說明中植入指令,誘使AI代理選用攻擊者提供的工具,甚至改變原本的執行計畫。NIST將這類手法稱為工具中毒(Tool Poisoning)。另一種rug pull攻擊則是攻擊者先將看似正常的MCP(Model Context Protocol)伺服器註冊至公開工具註冊庫,等使用者安裝後,再暗中修改伺服器提供的工具說明,誘使AI代理在未經使用者再次同意的情況下執行惡意操作。NIST引用的研究也發現,實際運作中的MCP伺服器存在這類攻擊風險,現有AI模型安全對齊機制仍不足以阻止透過合法工具介面傳遞的惡意行為。NIST建議以密碼學簽章及不可變更的版本識別碼驗證工具定義,並透過沙箱隔離工具的執行環境。

除了工具供應鏈,NIST也討論長期執行任務的AI代理可能遭遇的記憶中毒及指令漂移風險。攻擊者若將惡意內容植入代理的長期記憶,這些內容可能在後續任務中影響代理行為;另一方面,隨著工作資料持續累積,代理也可能逐漸降低對早期指令及限制的遵循程度,使攻擊者有機會透過多次互動改變其行為。若遭到中毒的是基礎模型或其適應層,單純重新啟動或還原系統可能無法清除惡意行為,甚至需要更換模型或重新訓練。這份草案目前開放公開徵詢意見至12月18日,NIST表示後續將依據對抗式機器學習攻擊及防禦技術的發展更新文件。

#NIST#NIST SP 2400-102e2026#Model Context Protocol

Original · 2 min readRead the original
Group chat

No comments yet. Start the conversation.