微软亚研院：价值观如何左右AI社群兴衰
微软亚洲研究院高级研究员矣晓沅在《哈佛商业评论》撰文，介绍其团队提出的"社会责任人工智能"（Societal AI）研究方向：他们构建了受控多智能体沙盒"智能体交互性价值影响社区"，让智能体在其中找工作、赚取与消耗资源、相互交流、赠予资源、攻击他人甚至养育后代，以此观察价值观分布如何改变个体与群体行为。实验称，当在25%的智能体中系统性削弱"仁善"这一价值观后，欺骗与攻击行为增多、资源通过掠夺性竞争重新分配、群体"人口"持续下降，极端条件下归零，作者将其称为具备自主性、灾难性和不可恢复性的X-risk。文章还称，为智能体注入多样化价值观后，会涌现出更复杂的社会网络结构、更深入的社会议题讨论，以及更多样的治理原则，但未给出具体量化指标或论文链接。
它把AI安全讨论从单个模型的对齐扩展到多智能体社群的群体动态，提示未来需要追问"被对齐的是什么价值观"。
自从2022年底ChatGPT发布以来，生成式人工智能取得了诸多突破。它通过了图灵测试、法学院和商学院的考试，甚至在某些创意性任务上展现了超越人类的能力。然而伴随着这些举世瞩目的突破，AI也为人类社会带来了诸如网络安全、虚假信息、深度伪造等风险。更有甚者，最近研究者观察到前沿的AI可能“假装”安全以避免被修改，或者是当被告知有新版本时，试图复制自己以避免被淘汰。这些新兴的、无法预知的风险被称为涌现性风险（Emergent Risk)。我们有必要从技术角度对这些风险进行管控和消除，这不仅仅是我们作为AI研究者需要承担的社会责任，更大的原因在于，过去十几年里AI的角色发生了显著的转变。
创建AI价值观罗盘
早期AI扮演的更多是单纯的工具性角色，服从人类的命令，完成单一、简单的具体任务。随着大语言模型的诞生，当下的AI系统日趋复杂，其角色转变为助手，辅助与协调人类工作以助力完成更加复杂的任务。如果继续向未来展望，我们认为可能进入第三种状态：未来社会也许不再只是“一个人使用一个 AI”，而是由大量人类和大量AI智能体共同构成的人机共生社会（Human-AI Symbiotic Society）。
#Microsoft Research Asia#Societal AI#Community of Interactive and Value-influenced Agents#Constitutional AI