OpenAI发布湿实验数据分析基准BioBasicsBench
AI 总结
OpenAI发布BioBasicsBench,通过100项任务评估AI分析凝胶电泳图、菌落培养皿、显微镜影像和仪器读数等日常湿实验数据的能力。OpenAI称,表现最佳的GPT-6 Astra在最高共同推理档位下平均得分为66.7%,仍可能忽略关键对照或错误判断菌落数量;这些成绩来自厂商报告。
深度见解
BioBasicsBench为衡量AI理解真实实验数据的能力提供了具体基准,而报道指出这一能力仍明显落后于计算与分子设计的发展。
过去几年,AI 在蛋白质结构预测、分子设计等领域取得了显著进展。Google DeepMind、Anthropic 等科技公司已开始利用 AI 设计新的蛋白质,但这些计算端生成的候选方案,最终仍需要通过真实实验验证。
相比快速发展的计算设计能力,AI 对真实实验数据的理解仍存在明显不足。
11 月 6 日,OpenAI 发布了 BioBasicsBench 基准测试,专门考察 AI 分析日常湿实验数据的能力。测试涵盖 100 项任务,涉及凝胶电泳图、菌落培养皿、显微镜影像及仪器读数等常见实验材料。
结果显示,即便是表现最好的 GPT-6 Astra,在最高共同推理档位下,平均可得分数也只有 66.7%。模型仍可能忽略关键实验对照,或在菌落数量判断等基础任务中出现错误,距离可靠地独立分析实验结果还有明显差距。