OpenAI前安全主管离职炮轰公司文化
AI 总结
在OpenAI工作三年半、主导起草《预备框架》并监督12次前沿模型安全评估报告的安全透明度负责人戴维·鲁滨逊公开辞职,撰文批评公司引以为傲的“迭代部署”方法论本质上是试错,注定周期性失败,且失败规模会随系统能力增强而扩大;他呼吁前沿实验室像核电站一样建立“纵深防御”,并发展让模型在无人监督时也安全的新科学。同一周,OpenAI以违反敏感信息处理政策为由与三名安全团队研究员“分道扬镳”,据多家媒体报道,这三人被指将模型安全问题的信息分享给一家第三方AI安全评估机构。OpenAI发言人表示公司持续改进安全措施,必要时会暂停训练或扣住模型不发布,并正加强测试环境安全。
深度见解
这是前沿实验室内部安全人员持续流失、公开质疑公司文化的又一案例,折射出竞争压力下安全投入难以刹车的老问题。
近日,美国知名媒体刊出一篇署名文章,标题是《我从OpenAI辞职,因为它的文化已经烂透了》。第一句话就是:“我本周从OpenAI辞职了。”
作者戴维·鲁滨逊在OpenAI工作了三年半,已经算是公司资历很老的中层主管之一。他主要负责安全透明度工作,主导起草了OpenAI现行的《预备框架》,并监督了12次前沿模型发布所附带的安全评估报告。过去几年外界读到的每一份OpenAI安全报告,大概都经过他的手。
实际上,作为资深中层,鲁滨逊仍然持有OpenAI的股权,而他的个人财富,也取决于他刚刚离开和炮轰的公司能否顺利上市获得华尔街认可。就在同一周,OpenAI刚刚解雇了三名安全团队的研究员。
试错文化导致周期失败
鲁滨逊在文章开头就承认,自己这么做“有点俗套”,似乎是又一个从顶尖AI公司离职,就公开发出严厉警告的员工。毕竟这样的案例在最近不胜枚举。