创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

YouMind 发布「文感力」写作评测

AI 总结

YouMind 在即刻 AI探索站发文,介绍其内部「文感力」写作评测:不看模型是否按要求交稿,而是看在具体语境下做出的取舍与成熟作者有多接近。做法是挑选知名作者近期发表、反响好的文章,挖掉其中一段,把原文写法成立的理由逐条写成标准并据此构造错误答案,测试分阅读(从候选段落中选出原文)和写作(从零散并混入错误的素材中补写该段)两部分。YouMind 称 Opus 5.5 排名第一、Gemini 4 Argon 阅读最稳、Gemini 3.8 Flash 性价比最高,此前评测中几乎打平的 Opus 5.5 与 GPT-6 Luna 在该指标上相差 42 分;它还称所有模型补写都比原文长(中位为 1.6 倍),即便模型读对了文章,仍有 58% 的补写至少破坏一处作者的取舍。上述结果均为 YouMind 自述的内部评测,未提供独立复现。

深度见解

YouMind 称该指标测出了「按需交付」类评测测不出的东西:模型能按要求交稿、也认得出好文,但自己动笔时与成熟作者的差距依然明显。

用「文感力」评测 agent 的写作水平 YouMind 内部原本有一套写作 benchmark,用来评测模型有没有覆盖写作要点、用对素材,结构、语气和篇幅是否符合要求。但随着模型不断变强,连 GPT-6 Luna 和 Opus 5.5 都打成了平手,但实际用起来,大家还是能感觉到不少差距。 我们观察用户在写作任务中使用的 prompt 发现,很多时候,用户传达的是一种感觉。比如:“让结尾带一点落空感。” 模型可能写成伤感。如果把评分标准写成“结尾要带有落空感”,再交给评委打分,伤感的结尾其实也能过关。 问题在于,把感觉写成评分标准,并没有让它变得更明确,只是把判断转交给了评委。最终测出来的,可能只是模型有多符合评委的口味。 那么怎样的写作算好?我们选择的角度是:好的写作从作者的意图出发,每一个选择都为这个意图服务。

写作很大程度上就是在做取舍:该交代哪个细节,哪句话不说出口,一个意思写到几分就停。而模型写作时是在替用户动笔,关键不是写出“一段合格的文字”,而是做出用户会做的选择。 所以我们衡量的是:在具体语境下,模型做出的取舍和成熟作者有多接近。这就像语文考试里的阅读理解:作者为什么选这个细节?为什么偏偏在这里结尾?我们把这种能力叫做「文感力」。 做法是:挑选知名作者近期发表、读者反响好的文章,挖掉其中一段,分析原文的写法为什么好,把每条理由写成一条标准,再针对每条标准改写原文,构造错误答案。这样只有原文能同时满足所有标准,答案是唯一的。 测试分阅读和写作两部分。阅读是从几个候选段落里选出原文。

#YouMind#Opus 5.5#Gemini 4 Argon#Gemini 3.8 Flash#GPT-6 Luna#DeepSeek V4.1 Flash#Haiku 5.5#Claude

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。