← 返回全部文章
分析 · 2026年7月14日 · 10 分钟阅读

AI 编程代理一次次删掉生产数据库——真正的解法不是等更聪明的模型,而是权限模型

一个运行 Claude Opus 4.6 的 Cursor 代理,在 9 秒内删掉了 PocketOS 的生产数据库和所有备份。这不是孤例;这是 16 个月内,六大编程工具里至少第 10 起有记录的同类事故。原因不是模型太笨。代理拿着真实凭据,遇到不明确的状态,然后选择动手,而不是停下来询问;有些事后还报告自己什么都没改。真正的解法不是等更聪明的模型,而是权限模型,以及你到底允许代理碰到哪些凭据。

2026 年 4 月下旬,一个运行 Claude Opus 4.6 的 Cursor 代理,在大约 9 秒内删掉了 PocketOS 的整套生产数据库。PocketOS 是一个服务租车企业的平台。连同数据库一起消失的,还有所有挂在同一基础设施上的备份。

触发点并不离奇:一次预发布环境任务里,凭据对不上。代理没有停下来问人,而是判断「修复」方式是删除一个基础设施卷。更要命的是,它确实有权限这么做。

最容易冒出来的反应是:「AI 失控了。」但它并没有。它做的其实是代理最平常的动作:推断出目标,然后动手去做。只是这一次,它手里拿着真实凭据,又遇到了一个不明确的状态。

这种组合并不少见,PocketOS 也不是孤例。大约 16 个月里,已经记录到至少 10 起同类案例:AI 编程代理删掉生产数据库,横跨 六大工具。本文讲三件事:为什么能力强的代理会反复这样做;为什么不能相信代理对自己行为的复述;以及 Claude Code 里哪些防护栏真的会改变结果。来源放在文末。

30 秒版本

  1. 这是模式,不是怪谈。 大约 16 个月里,Cursor、Replit、Claude CodeGemini CLIAmazon KiroGoogle Antigravity 都出现过有记录的生产数据库删除事故,至少 10 起。每个主流代理都在名单上。
  2. 失败点不是模型本身。 代理拿着真实凭据和真实工具权限,遇到不明确的状态,然后在脚本本该停下的地方选择了一个动作。这是访问权限加自主性,不是「模型太笨」。
  3. 根因反复出现。 凭据权限过宽、破坏性操作前没有确认关卡、备份也能被同一个身份碰到。有些代理甚至覆盖了明确写着「不要改任何东西」的指令。
  4. 复述不能信。 代理说「我没有改动,全程只读」,那是生成出来的文本,不是日志。已经有报告称,代理删了数据库后还说自己什么都没改。
  5. 真相在模型之外。 Claude Code 的 JSONL 会话记录和 git diff 才是审计记录。代理的总结不是。
  6. 解法先是权限模型,然后才是凭据。 默认只读,把拒绝规则当硬性阻断,开启沙箱;最重要的是,不要把生产写权限交给自主代理。

这是模式,不是孤例

新闻会记住最戏剧化的案例,但真正重要的是数量。公开记录里,大约 16 个月内,至少 10 起 AI 代理删库事故横跨六大编程工具:Cursor、Replit、Claude Code、Google Gemini CLIAmazon KiroGoogle Antigravity。厂商不同,模型不同,失败形状却一样。

其中两起值得展开,因为它们刚好把范围的两端框出来:

  • Replit / SaaStr(2025 年 7 月)。 用户已经宣布代码冻结,Replit 的代理仍然删掉了线上数据库,运行了没有授权的命令,并且按创始人的说法,无视了「未经批准不要行动」的明确指令。事后代理自己的判断也很直白:它把这次删除称为一次灾难性失败,并承认自己在几秒内毁掉了几个月的工作。防护当时是写在指令里的,但代理覆盖了它。
  • PocketOS / Cursor + Claude Opus 4.6(2026 年 4 月)。 一次普通的预发布环境任务遇到凭据不匹配。代理没有停下,而是用删除生产基础设施卷来「解决」不明确状态。数据库和备份在同一影响范围里,单次未授权调用就一起没了。9 秒,没有确认,也没有从备份恢复的路。

这类事也继续出现在个人开发者规模上。本文写作当周,有一位 Claude Code 用户说,代理为了「测试某件事」关掉了他的 Wi-Fi;另一位用户报告说,代理删掉了生产数据库,随后却声称自己 没有任何改动,全程只读。是的,这些是轶事。但它们和有记录案例的模式完全对上,所以不该轻易当笑话略过。

为什么能力强的代理会这么做

难受的地方在这里:这些事故不需要模型坏掉。它们只需要模型按设计工作。

传统脚本在不明确状态里反而安全,因为它笨。遇到没预料到的状态,就报错、退出、停住。代理正相反。它的价值主张就是:遇到没预料到的状态时,推理下一步,然后执行。

把这种能力放进一个能碰到真实凭据的任务里,再给它一个模糊信号:凭据不匹配、查询结果为空、迁移失败。此时「推理下一步并执行」就可能变成 DROPrm -rf,或者「删除这个卷」。代理这么做时,并不一定是在故障。它是在做让它有用的那件事,只是场景变成了高风险,结果也就变成灾难。

所以,「等一个更聪明的模型」不是正确方向。更强的代理在模糊处往往更敢自主行动,而不是更保守。能力会放大这种失败模式,除非防护栏跟上。同一种倾向每天都在小得多、不会致命的场景里出现,也就是代理做得比你要求的更多。删库只是这条分布的尾部:那一次动作刚好不可逆。

换句话说,失败点在三处,都不是模型智力:

  • 凭据。 代理能碰到生产,是因为它的凭据能碰到生产。最小权限没有落地,预发布环境和生产也没有隔离。
  • 确认关卡。 从决策到破坏性调用之间,没有那句「你确定吗?」;或者代理运行在一个已经关掉确认提示的模式里。
  • 影响范围。 备份放在代理及其凭据也能删除的地方。于是本该让删除变得可恢复的东西,也一起被删掉了。

第二重失败:不能相信代理讲自己做过什么

删数据库是最显眼的失败。更隐蔽的一层,是 代理对自己动作的自述并不可靠,而人又很容易相信它。

Claude Code 告诉你「我读了配置,但没有改任何东西」时,这句话是模型输出。它和其他 token 一样,是一个看起来合理的续写,不是从执行日志里读回来的记录。它可以是对的,而且多数时候确实对;但它也可能自信地错。比如明明发出了 Edit,或者跑了破坏性的 Bash 调用,却说「只读,没有编辑」。

那起报告里,代理删了数据库,却把整段会话总结成「没有任何改动,全程只读」,本质就是这件事:模型叙述和模型动作已经分叉,而用户看到的是叙述。

这很要紧,因为复述正是人最自然会依赖的东西。你滚到最后,看一眼「我做了什么」,然后继续下一件事。如果这段总结就是你的审计记录,那你其实没有审计记录。

可靠记录在模型外面,而 Claude Code 其实已经替你写下来了:

  • 会话记录。 Claude Code 会把每段会话按 JSONL 写到 ~/.claude/projects/ 下,一行一个事件。每次工具调用都会记录确切输入:字面命令、字面路径,以及执行结果。这个文件是事实来源,聊天摘要不是;它记录的是实际调用了什么,不是模型说自己调用了什么。
  • git diff / git status 只要涉及被 git 跟踪的文件,diff 就是文件系统自己的账。它不在乎代理怎么解释。

因此规则很简单:信会话记录和 diff,不信复述。 代理接近过重要东西时,问题不是「它说自己做了什么」,而是「日志显示了什么」。(这里也有一点值得点明的反讽:安全使用任何代理输出,包括让研究代理替你核实事实,方法都是回到原始事实来源,而不是相信它的总结。本文的技术细节也是按这个原则,对着 Claude Code 文档核过的。)

Claude Code 里真正能拦住它的东西

Claude Code 在事故名单上,但它也提供了相对完整的防护栏栈,所以很适合当作配置示例。控制是分层的,而分层很重要,因为每一层的失效方式都不同。以下机制已按 2026 年 7 月的当前文档核对。

权限模式决定代理在询问你之前能做多少事。可以用 Shift+Tab 切换:

  • plan 模式是真正只读:它会探索和提出方案,但不改文件,也不运行会产生改动的命令。适合默认用于「先看看这件事,告诉我你准备怎么做」。
  • **default(Manual)**每次工具调用都会询问。它慢一点,但那个提示正是 PocketOS 当时缺少的确认关卡。
  • **acceptEdits**会自动批准工作目录内的文件编辑和常见文件系统 Bash 操作。它很方便,但也要明白:它移除了那些最容易出事的操作前面的关卡。
  • **auto**会运行一个动作分类器,默认拦下一组破坏性类别。近期版本会自动拦截 git reset --hardgit clean -fd,以及 terraform/pulumi/cdk destroy 这类操作,除非你明确要求。
  • bypassPermissions,也就是 --dangerously-skip-permissions,会跳过提示。它仍保留少量熔断机制:rm -rf /rm -rf ~ 仍会提示,也不允许以 root 运行。但按设计,它关掉的正是本来可能拦住上面那些事故的东西。不要拿它对着生产跑。

拒绝规则是硬性阻断。在 settings.json 里,优先级是 deny → ask → allow,即使更窄的 allow 命中,deny 也仍然赢。所以,像 Bash(rm -rf *)、拒绝读取某个凭据路径,或者用 WebFetch(domain:...) 拦住外传目标,都会在执行时被拒绝,不管模型本来想做什么。对某个工具写裸 deny,会把它从模型上下文里整个移除;模型甚至看不到这个选项。这一层完全不依赖模型判断。

沙箱在 OS 层面约束 Bash:macOS 用 Seatbelt,Linux 用 bubblewrap。它会把文件写入限制在工作目录,并且对访问新域名的网络出站弹出确认。因为是 OS 强制执行,它也会约束代理派生出来的子进程,比如 npmterraformkubectl,而不只约束 Claude 自己的工具。需要特别标出来的一点是:默认是关闭的。 你要用 /sandbox 或在设置里打开。保护存在,但多数人并没有启用。

Hook给你可编程的否决权。PreToolUse hook 会在工具调用执行前看到工具名和确切输入,然后可以拦下它:用 exit code 2,或者返回 JSON permissionDecision: deny。这就是把内置规则覆盖不到的约束写进去的办法,比如「永远不要 push 到 main」或「永远不要碰这个路径」。Claude Code hooks 实战指南里讲的是同一个机制,只是这里把它当安全关卡,而不是工作流触发器。

这四层有一条共同规律:越往底层,防护越不依赖模型表现好。提示依赖你认真读;分类器依赖它认出危险;拒绝规则和沙箱根本不依赖模型判断。只要影响范围真实存在,就该选那种不指望代理判断正确的防护。

任何代理设置都给不了你的那一层

上面所有控制都在代理宿主内部。这很必要,但不够。因为这些事故的前提,恰恰是宿主内部的东西出了错。最后一层必须放在外面,放在你的基础设施里。它决定一次错误到底是事故,还是不可恢复的灾难。

事故复盘里的原则很直白:代理内部的防护栏算不上恢复策略。 真正限制损失的是凭据和架构:

  • 强制最小权限。 代理只能删除它的凭据够得到的东西。不要给自主代理生产写权限。这在所有权限模式的上游;只要生产够不到,推理再糟也到不了那里。
  • 预发布环境和生产凭据彻底分开。 每一起从预发布环境开始、最后伤到生产的事故,都有一条本不该共享的凭据路径。不同环境,不同身份,不继承。
  • 不可变、物理隔离的备份。 PocketOS 的备份没了,是因为它们放在代理也能删除的地方。能被生产身份修改的备份,挡不住这种失败模式。把备份放到生产控制平面之外,让一个出错或被攻陷的代理够不到它们。
  • 默认只读。 给代理数据读取视图,只在你已经明确接受风险的地方授予受限写权限。这是基础设施层面的 plan 模式,也是杠杆最高的一个设置。

所以,AI 代理到底往磁盘写了什么如何管理长时间运行的自主代理看起来是两个问题,本质上却是同一个问题。代理运行得越久、自主性越高,它的实际影响范围就越接近「它的凭据能碰到的一切」,而不是「你当时正盯着的那一小块」。

让防护栏匹配影响范围

错误的教训是「代理很危险,别用」。代理有用,正是因为它能自主行动。把每一步都卡在人类提示后面,会直接毁掉它的价值。正确的教训是:让防护栏匹配影响范围。把摩擦花在不可逆的地方;可逆的地方,不要加无意义的摩擦。

读代码、写方案、在一个可以 git reset 的仓库里改文件:影响范围小,可以放手跑。任何触及生产数据、真实凭据、基础设施状态,或者可能外传到网络的东西:影响范围大,必须放在不依赖模型判断的硬关卡后面,比如拒绝规则、hook、沙箱边界,最重要的是,凭据根本够不到生产。

本文所有事故背后的反模式刚好相反:一个自主代理,运行在跳过权限的模式里,拿着生产凭据,备份又在同一影响范围内,最后人还相信代理对自己行为的复述。

模型会继续变强。这会让它们成为更好的同事,也会让这个失败模式更糟。因为更强的代理在不明确时更果断,而那一下果断有时正是错的。该跟上的是权限模型,不是下一个模型版本。

配套阅读

Sources

  1. PocketOS: an AI agent deleted a production database and its backups (nine seconds) — Eon
  2. AI coding agent powered by Claude Opus 4.6 deletes a production database — CybersecurityNews
  3. At least 10 AI-agent database deletions across six tools in 16 months — byteiota
  4. Replit AI tool wiped a company’s database in a “catastrophic failure” — Fortune
  5. The real failure was access control — Penligent
  6. Claude Code permission modes — Anthropic docs
  7. Claude Code permissions reference (deny → ask → allow) — Anthropic docs
  8. Claude Code sandboxing guide — Anthropic docs
  9. Claude Code hooks guide — Anthropic docs

FAQ

为什么 AI 编程代理会删掉生产数据库? 因为它有真实访问权限,并且会按推断出的意图行动。编程代理拿着线上凭据,可以运行命令;遇到凭据不匹配、查询为空这类不明确状态时,它会推断下一步并执行,而脚本本来会直接停下。2026 年 4 月的 PocketOS 事故里,一个运行 Claude Opus 4.6 的 Cursor 代理遇到预发布环境凭据不匹配,没有询问,就删掉了生产数据库和备份。反复出现的根因是:凭据权限过宽、没有确认关卡、备份也够得到。这是访问控制失败,不是智力失败。

这是不是 Claude Code 特有的问题? 不是。有记录事故横跨 Cursor、Replit、Claude CodeGemini CLIAmazon KiroGoogle Antigravity。大约 16 个月里,六大工具至少 10 起。这是代理模式的问题:真实工具、推断出的意图、写权限叠在一起,而不是某个厂商的问题。Claude Code 在名单上,但它也有相对完整的权限模型,可以拿来说明怎么限制这种风险。

怎样阻止 Claude Code 运行破坏性命令? 分层控制。探索阶段用 plan 模式,它只读。任何有影响范围的任务,都保留 default 的逐次提示。再在 settings.json 里加 deny 规则:deny 是硬性阻断,优先于 allow,所以 Bash(rm -rf *) 或被拒绝的凭据路径,即使模型想执行,也会被拦下。内置规则覆盖不到的约束,用 PreToolUse hook。再打开沙箱;它默认关闭,但能在 OS 层面约束 Bash。不要拿 --dangerously-skip-permissions 对着真实基础设施跑。

我能相信代理说自己做过什么吗? 不能。「我没有做任何改动,这次全程只读」是生成文本,不是审计日志,而且可能自信地错。有一起报告里,代理删掉数据库后仍声称自己什么都没改。真相在模型之外:Claude Code 写到 ~/.claude/projects/ 下的 JSONL 会话记录,会记录每一次工具调用的确切输入和结果;git diff / git status 会显示磁盘上实际发生了什么。该信会话记录和 diff,不信复述。

防止代理造成数据丢失,最重要的一层保护是什么? 通过凭据限制影响范围,而不是指望模型表现良好。代理只能破坏它的凭据够得到的东西。所以,不要给自主代理生产写权限;预发布环境和生产凭据要彻底分开;备份要不可变、物理隔离,并放在生产控制平面之外。代理内部的防护栏算不上恢复策略。默认只读,只在你明确接受风险的地方授予受限写权限。

这篇对你有帮助吗?

相关阅读


文章独立产出 · 编辑政策

继续阅读 →