创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Ai2揭示LLM评估研究想法新颖性的脆弱性

AI 总结

Ai2发布研究“Old Ideas, Novel Problems”,并同步公开用于构建新颖性评估集的基准、数据、代码和自动化流程。六种LLM评审模型的结果显示,提示词或评估设置的细微变化就可能显著改变判断;在一次测试中,GPT-5.4的准确率因提示词变更从93.5%降至40.9%,检索与增加推理也未带来一致改进。在一项Human+Generated测试中,简单的Claude Opus 4.6方案取得0.854的macro-F1,报告成本为2.59美元。

深度见解

该发布为研究AI辅助科学发现中的关键能力提供了可复用工具,即判断AI提出的研究想法是否真正新颖,而非仅重新包装既有工作。

Can we trust LLMs to judge whether a research idea is novel?

October 27, 2026

Ai2


PaperDataCode

Today we’re releasing Old Ideas, Novel Problems, a new study of how reliably large language models can evaluate the novelty of scientific research ideas. Alongside the paper, we’re publishing a benchmark, data, and code for testing novelty judges, plus an automated pipeline researchers can use to build new evaluation sets.

#Ai2#Old Ideas, Novel Problems#GPT-5.1#GPT-5.2#GPT-5.4#Claude Sonnet 4.5#Claude Opus 4.5#Claude Opus 4.6#Idea Novelty Checker#Sakana AI#AI Scientist

原文约 8 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。