创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Claude Code 新增自动评测与爬坡调优

AI 总结

9月28日,Anthropic 发布调优指南,为 Claude Code 加入 /claude-api build-eval 与 /claude-api hillclimb 两个入口(需 Claude Code v2.1.259 及以上)。前者把“怎样才算答对”落成可反复运行的测试题和评分规则,后者让 Claude 每轮只提出一处修改(提示词、技能文件、工具说明或模型配置),评估确有改善才保留、退步就撤回,并留出一部分未公开的“验收考题”来检查是否只会做熟题。官方称,在一个内部客服评测中,最终配置在 14 张未参与调优的留出工单上决策准确率从 78.6% 升到 90.5%,模型调用成本降至原来的约 1/5。

深度见解

它把提示词调优从人工反复试错变成可自动运行、可回退的闭环,对自掏腰包付 API 费用的个人开发者尤其有吸引力。

设想一下:

你用Claude Code手搓了一个小应用,顺便给它接了个AI客服。

本想让它自动解答用户「怎么登录」「会员服务有啥内容」之类的基础问题,好让自己当个甩手掌柜。

结果客服确实能聊天了,但你却沦为了它的全职陪练:

回答不准,赶紧补一句提示词;解释太啰嗦,再加一条限制。

更让人崩溃的是,每改一句提示词,你都得把常见问题重新问一遍,生怕它顾此失彼,刚修好一个问题,却把原本答对的又改坏了。

#Anthropic#Claude Code#Claude

原文约 7 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。