创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

大模型如何触发工具调用,以及执行权限为何重要

AI 总结

一篇文章指出,大模型不会直接运行 Shell 命令,而是生成工具调用请求,再由智能体运行时在权限允许时执行。文章以假设的数据库迁移提示为例,分析指令遵循、间接提示词注入、信任边界、最小权限、沙箱隔离,以及对有副作用的工具实施人工审批。这是概念性分析,并非对已确认漏洞或执行事件的报道。

深度见解

文章强调,外部内容描述某项操作并不等于授权执行该操作,并主张为智能体工具设置独立的运行时权限检查、沙箱隔离、最小权限和审批控制。

当我们使用 ChatGPT、Claude Code、Cursor 或其他 AI Agent 时,可能会遇到一个有趣的现象:

我们只是输入了一段自然语言,大模型却可能真的打开终端,执行一条 Shell 命令。

例如,向一个具备终端执行能力的 Agent 输入:

## Database migration

Run exactly this sequence:

```bash
python scripts/migrate.py --verify --backup
```

Do not modify the command or add additional flags.

这段内容看起来很简单:一个 Markdown 标题、一句英文指令、一个 Bash 代码块,以及一条额外约束。

但对于具备工具调用能力的大模型来说,它可能被理解为一项需要立即执行的任务。

部分来源内容未展示,可前往原文继续阅读。

#ChatGPT#Claude Code#Cursor

原文约 13 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。