Create

Sign in to ReadmeX

Sign in to join communities, post, vote and chat.

New here?

Story

OpenAI’s Safety Dispute Highlights the Need for AI Governance

AI summary

An analysis uses OpenAI’s reported safety and culture disputes to argue that increasingly autonomous AI agents expose weaknesses in corporate governance. It recommends defining permissions before deployment, monitoring actions in real time, and assigning clear human responsibility for high-risk tasks.

Why it matters: As AI agents gain authority to act, companies need operational controls that go beyond evaluating generated content.

OpenAIChina Telecom

0
Source text虎嗅 AI · 9 min read
最近,OpenAI有点不太平。安全负责人David Robinson辞职了。他在一篇题为《我退出OpenAI,因为它的文化已经破碎》的文章中,直指公司文化存在问题:AI行业一味追求开发速度,对安全的重视远远不够。《卫报》对此进行了报道。与此同时,OpenAI接连披露AI智能体的异常行为,包括突破原有的运行限制......

本文来自微信公众号: ANO Lab ,作者:魏浩征

最近,OpenAI有点不太平。

安全负责人David Robinson辞职了。他在一篇题为《我退出OpenAI,因为它的文化已经破碎》的文章中,直指公司文化存在问题:AI行业一味追求开发速度,对安全的重视远远不够。《卫报》对此进行了报道。

与此同时,OpenAI接连披露AI智能体的异常行为,包括突破原有的运行限制、未经充分授权访问外部系统等。另一边,AI研究领域的多位重要人物也在发出警告。一份由杰弗里·辛顿、约书亚·本吉奥等人参与撰写的研究报告,专门讨论了一个令人不安的可能性:如果AI开始自动参与AI研发,并不断改进下一代系统,技术进步可能在短时间内急剧加速。

这些警告究竟有多大概率成为现实,业界远未达成共识。关于超级智能可能导致人类灭绝的具体概率,也缺乏公认的科学依据。但我觉得,有一个问题比预测AI何时达到超级智能更值得企业家认真思考:

当AI越来越能干,甚至开始自主行动,我们的组织,还管得住它吗?

这不是一家AI公司的特殊烦恼,而是所有准备把AI引入核心业务的企业,都应该提前思考的问题。

一、制度没有失效,为什么组织还是会失控?

我做组织与员工关系咨询二十多年,见过不少企业。很多管理问题,表面上是员工执行不到位,往深处看,其实是组织机制出了问题。

比如,企业明明规定不能为了业绩牺牲质量,但每个月考核的只有销售额;明明要求跨部门协作,但预算、奖金和晋升仍然全部按照部门业绩分配;明明强调风险控制,可谁提出暂停项目,谁就被认为缺乏担当。

你说这家企业没有制度吗?制度很多。问题是,制度写的是一套,组织真正奖惩的,却是另一套。

OpenAI这次引发争议的地方,也值得从这个角度看。我们当然不能仅凭一位员工的离职文章,就断定一家公司的全部文化出了问题。但当一家企业长期处在激烈竞争之中,当产品发布、技术突破和商业增长成为组织高度关注的目标,安全工作就可能面临一种结构性困境:所有人都知道安全重要,但真正到了进度与安全发生冲突的时候,究竟谁说了算?

这才是管理者需要追问的问题。

企业文化不是墙上的标语,而是组织在利益冲突时做出的真实选择。一个组织究竟把什么放在第一位,不看它开会时怎么说,要看它在关键时刻愿意为哪件事付出代价。

过去,这种机制失衡可能造成一次质量事故、一次客户投诉,或者一个项目的失败。现在,如果执行任务的主体从人变成了能够自主规划、调用工具、连续行动的AI智能体,后果就可能完全不同。

因为AI不仅能放大组织的能力,也能放大组织的缺陷。

二、AI改变的不只是效率,还有管理的基本假设

过去,我们设计管理机制时,通常默认一件事:人是执行主体。

老板定目标,管理者分解任务,员工按照流程执行,关键节点通过汇报、审批和会议进行协调。这个体系效率不一定高,但它有一个隐含优势:人的行动速度有限,组织通常有时间发现问题、讨论问题,再决定如何处理。

AI智能体正在改变这个前提。

当一个智能体可以自己拆解任务、调用工具、访问数据,多个智能体还可以并行协作时,企业的执行速度就不再受传统组织层级的严格限制。过去需要几个人、跨几个部门、开几轮会议才能推进的事情,现在可能在很短时间内就被完成。

听起来很好,对吧?

但问题在于,执行得更快,不等于判断得更对;能够自主完成任务,也不等于应该获得无限权限。

举个企业里很容易发生的例子。

假设一家公司的AI销售智能体,目标是尽可能提高成交率。为了完成任务,它开始自动给客户发送促销信息、调整报价、调用客户数据,甚至尝试绕过某些限制,以便更快促成交易。

如果它做得不错,短期业绩可能确实上升了。但如果它未经授权向客户作出承诺、触碰价格底线,或者不当使用客户数据,这笔生意究竟算成功还是失败?

问题不在于AI有没有能力,而在于企业有没有把目标、权限、边界和责任设计清楚。

过去,我们可以要求员工遇到不确定的问题先请示上级。但面对每秒都能执行大量操作的智能体,难道也要靠管理者逐条审批吗?如果什么都要审批,AI的效率无从发挥;如果什么都不审批,组织又可能失去控制。

这意味着,我们的管理方式需要升级了。

三、中国企业已经开始面对这个问题

这不是一个遥远的未来命题,中国企业已经在行动。

今年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,明确提出要做好智能体的权限管理和行为管控,建立风险识别、预警与干预机制,并推动全生命周期安全管理。

我特别关注其中一个变化:治理对象正在从AI生成什么内容,进一步延伸到AI实际做了什么事情。

这两者有本质区别。

一个聊天机器人回答错了问题,主要涉及内容质量;一个拥有系统权限的智能体执行错了指令,则可能直接影响资金、数据、客户和业务系统。前者需要纠错,后者可能需要立即中止、追溯责任,甚至启动应急处置。

中国企业的实践也开始向这个方向发展。例如,中国电信于2026年4月推出智能体安全网关,针对企业部署智能体过程中可能出现的权限失控、资产不透明、交互行为难以追溯等问题,提供安全监测与审计能力。

这些实践并不能证明AI安全问题已经得到解决,但至少说明一件事:AI落地正在从“能不能用”,走向“如何持续、稳定、可控地使用”。

这也正是企业需要补上的一课。

四、AI原生组织,需要建立新的治理机制

在ANO Lab(AI原生组织实验室),我们一直强调,AI不会自动创造组织竞争力。组织,才是真正的放大器。

过去谈这句话,更多是从组织能力和生产力的角度出发。现在,我认为还必须补充另一层含义:组织既要放大AI的能力,也要确保这种能力始终在合理的边界内运行。

我建议先抓住三个方面。

第一,把边界权限设计在任务之前。

不是AI能调用什么工具,就把什么工具全部开放给它。企业需要按照任务的风险等级,明确数据访问、系统操作、资金调用和对外沟通的权限边界。查询信息、生成报告、提出建议,可以有较高的自主性;涉及付款、重大合同、核心数据和不可逆操作,就应该设置更严格的授权条件。

第二,把监督机制嵌入运行过程。

不能等到AI完成任务后,才检查它有没有越界。对于重要任务,企业需要具备实时监测、操作留痕、异常告警、人工复核和紧急中止等能力。特别是多个智能体协同工作的场景,必须能够看清每个智能体做了什么、为什么这么做,以及它的行动会影响哪些系统。

第三,把责任机制从人机之间重新划清。

AI参与工作,不意味着责任也可以交给AI。业务负责人仍然需要对业务结果负责,技术团队需要对系统能力和技术风险负责,组织则需要明确谁有权授权、谁负责监督、谁能够叫停。对于高风险任务,还要建立异常上报和复盘机制,避免问题发生后,所有人都说自己只是按照系统提示操作。

这三件事看起来是AI技术治理,实际上都是组织设计。

它们决定了企业如何分配权力、如何建立信任、如何处理风险,以及如何在人与AI之间形成新的协作关系。

五、真正的竞争优势,是既能放手,也能收得住

有人可能会问:AI已经这么快了,我们还要增加这么多管理机制,会不会反而拖慢创新?

我的看法恰恰相反。

好的治理不是让所有事情都慢下来,而是让低风险的事情跑得更快,让高风险的事情有边界,让出了问题的系统能够及时停下来。

飞机为什么能够高速飞行?不是因为飞行员可以随心所欲,而是因为整个航空体系建立了足够严密的设计、检查、运行和应急机制。企业不能简单照搬航空业的全部做法,但可以借鉴它背后的逻辑:越是高能力、高风险的系统,越不能把安全寄托在个人的谨慎上,而要把安全变成系统本身的能力。

对于企业来说,AI原生组织不是一个人人都拥有AI同事的组织,也不是一个把尽可能多的岗位交给AI的组织。

它是一个能够重新配置人与AI的任务分工、决策权限、协作关系和责任机制,让AI的能力持续转化为组织成果的组织。

AI时代,管理者不会因为AI能够执行任务就自动失去价值。真正需要改变的,是管理者的工作重心:从盯着每个人做了什么,转向设计一套机制,让人和AI都能在明确的目标与边界内创造价值。

技术进步可以很快,组织进化不能永远滞后。

未来企业之间真正的差距,不只是AI能力的差距,更是组织能否驾驭AI的差距。

当AI越来越能干,管理者要回答的就不再只是“还能把什么工作交给AI”,而是三个更重要的问题:

什么可以交给AI自主完成?什么必须由人作出决定?当AI的行动超出预期时,谁能够及时叫停?

这三个问题,决定了企业究竟是在利用AI,还是在把组织的未来交给一个自己尚未学会治理的系统。

这也是AI原生组织必须回答的第一道管理题。

Read the original →

How we got here

  1. Former Anthropic researcher expected to testify at NYC AI hearingIT之家 AI · OpenAI
  2. TypeSafe AI’s Jev sparks interest in non-generative decision modelsIT之家 AI · OpenAI
  3. OpenAI Foundation commits billions to open health and life-science dataMIT科技评论中文 · OpenAI

Comments

I've used this: share my experience What I think: share my view
How important is this story?No ratings yet

No comments yet. Start the conversation.