大模型如何触发工具调用,以及执行权限为何重要
AI 总结
一篇文章指出,大模型不会直接运行 Shell 命令,而是生成工具调用请求,再由智能体运行时在权限允许时执行。文章以假设的数据库迁移提示为例,分析指令遵循、间接提示词注入、信任边界、最小权限、沙箱隔离,以及对有副作用的工具实施人工审批。这是概念性分析,并非对已确认漏洞或执行事件的报道。
深度见解
文章强调,外部内容描述某项操作并不等于授权执行该操作,并主张为智能体工具设置独立的运行时权限检查、沙箱隔离、最小权限和审批控制。
当我们使用 ChatGPT、Claude Code、Cursor 或其他 AI Agent 时,可能会遇到一个有趣的现象:
我们只是输入了一段自然语言,大模型却可能真的打开终端,执行一条 Shell 命令。
例如,向一个具备终端执行能力的 Agent 输入:
## Database migration
Run exactly this sequence:
```bash
python scripts/migrate.py --verify --backup
```
Do not modify the command or add additional flags.
这段内容看起来很简单:一个 Markdown 标题、一句英文指令、一个 Bash 代码块,以及一条额外约束。
但对于具备工具调用能力的大模型来说,它可能被理解为一项需要立即执行的任务。
部分来源内容未展示,可前往原文继续阅读。