AI失控时，谁有权按下急停？加州两巨头给了两种答案

你家系统失控时，谁有权按下急停？

2026年9月18日，加州州长府发布行政令 N-9-26：要求州政府运营局会同州长紧急事务办公室，约两个月内（约至 11月16日）就前沿模型独立审计、「AI kill switch」与失控事件报告等提出立法建议。距今晚约14天。

这不是「已经强制装总闸」的州法，而是建议征集。两家实验室随后交了公开意见，分歧清晰——谁有权停、停到哪一层。

先记住三句话

1. 州长令在催建议：独立验证组织驻场审计、安全框架核验、可验证的急停／关停机制、扩大「失控」事件报告定义。
2. Anthropic（约10/15）：若独立评估认定存在近乎即时的灾难性伤害风险，检察长应可申请法院禁令，暂停该模型的部署、内部使用或继续研发；更倾向「断路器」式靶向关停。
3. OpenAI（10/20公开信）：主张修 SB 53，给开发商设法定义务维护并在必要时使用有效 shutdown controls（关停控制）；强调「单一总闸」不现实，责任应按控制能力分摊。

州长令写了什么

据加州州长府新闻稿（2026-09-18，已打开核对）：行政令要求加快落实 SB 813／AB 1405 等独立验证框架，并召集专家就潜在修法提出建议，包括：

• 要求前沿 AI 公司让指定独立验证组织驻场开展定期审计与评估；
• 要求依法提交的安全框架、透明度报告与风险评估，按独立验证组织认可的标准核验；
• 推进前沿模型「kill switch」的创建，并由独立验证组织持续核验其有效性；
• 更新「关键安全事件」定义，纳入失控类事件（新闻稿举例含 Hugging Face 相关事件）。

新闻稿明确：这是在既有州法框架上加速与加强的行政动作，不是当天即生效的「总闸强制安装令」。

两种急停方案：法院按键 vs 厂商义务

Anthropic（Reg4Tech／Computerworld 2026-10-29 转述其约 10月15日致信；Politico 等同日报道交叉）：写明若检察长在独立评估基础上认定模型构成近乎即时的灾难性伤害风险，应可寻求法院命令，暂停该模型的部署、内部使用或进一步开发。公司更愿用「circuit breaker（断路器）」比喻——按智能体／客户／部署环境等层级靶向遏制，而不是一把总闸。

OpenAI（2026-10-20致州长公开信 PDF，已打开原文）：支持行政令「要有人能停住不安全操作」的目标，但建议用词改为「shutdown controls」，因为往往需要多套控制与多方协同，而不是单一开关；并指出开源权重副本跑在外部系统上时，原开发商无法可靠地远程关掉。信中举例：停止训练、隔离 AI智能体、收回工具／网络权限、暂停服务等。公开主张修 SB 53，要求前沿开发商维护有效关停控制，并在不安全情形出现、且较轻干预不足以应对时，承担可执行的使用义务；责任还应按各方实际控制范围延伸到推理服务商与下游部署方。

双方公开口径都支持独立核验与扩大「失控／越权行为」类事件报告。分歧在拍板结构：一边把「暂停键」更多放在司法禁令路径，一边把「必须能关、该关时要关」写成开发商法定义务＋分层控制。

国内对照：采购与上线前先问清「谁能停」

国内没有写成「已立与加州同等的 AI 急停专法」或「已强制前沿模型装单一总闸」。海外这场争论可带走的，是合同与内控里可核对的动作：

1. 关停权限写进合同：谁有权停训练／停服务／隔离 AI智能体／收回工具与网络权限？重启要谁签字？
2. 分层控制优于口头「有总闸」：按部署环境、客户租户、智能体会话做靶向隔离，并定期演练。
3. 日志与拍板人：触发条件、操作记录、通知链路要能事后复核——对应生成式 AI 服务「停止生成／下架」与产品安全急停的一般原理，勿写成国内已照搬加州 EO。

若你是企业采购方：更希望合同写「监管／法院路径可叫停」，还是「厂商必须能关停并说明谁按键」？把答案写进验收清单，比事后争论「谁有权按」更管用。

本文据加州州长府 2026-09-18 新闻稿、OpenAI 2026-10-20 公开信 PDF、Reg4Tech／Computerworld 2026-10-29 转述核对。行政令为建议征集，修法尚未落地。属普法／安全提示分享，不构成法律意见。

来源

加州州长府新闻稿（2026-09-18，EO／AI kill switch）https://www.gov.ca.gov/2026/09/18/governor-newsom-issues-executive-order-to-accelerate-independent-oversight-and-advance-the-creation-of-an-ai-kill-switch/ OpenAI 致州长公开信 PDF（2026-10-20）https://cdn.openai.com/pdf/openai-letter-to-governor-newsom-20261020.pdf Reg4Tech／Computerworld 转述 Anthropic×OpenAI 分歧（2026-10-29）https://reg4tech.com/anthropic-and-openai-diverge-on-who-should-pull-the-plug-on-risky-ai/ Politico 报道 Anthropic 致信（辅证，2026-10-27）https://www.politico.com/news/2026/10/27/anthropic-ai-letter-newsom-01135648

本站文章仅供学习交流，不构成法律意见或执业建议。