创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

NVIDIA 开源 SkillEvaluator 评估智能体技能

AI 总结

NVIDIA 以 Apache 2.0 许可证发布 SkillEvaluator,用于通过质量校验、语义重叠检测、模型支持的规则评估、合成评估数据集生成和实时智能体对比来检查 AI 智能体技能。该工具提供 CLI 和 CI 集成,三个层级可独立运行。第一层负责校验与安全扫描,第二层识别重复或重叠的指导内容,第三层通过提供商访问权限、受支持的智能体和运行中的沙箱,对比有无技能时的任务结果,沙箱默认使用 Docker。内置文本分析器示例的静态质量得分为 86.2/100。NVIDIA 将该项目列为实验性、社区支持且尽力而为,没有 SLA 或企业支持权益。

深度见解

SkillEvaluator 将静态检查、规则反馈、重叠检测和实时对比整合到同一个 CLI 中,为开发者提供统一的方法来检查智能体技能质量并衡量技能对任务结果的影响。

Multi-tier framework for evaluating AI agent skills and plugins with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.

link

https://docs.nvidia.com/skills/skillevaluator/


Evaluate and improve AI agent skills and plugins: quality, security, overlap, compatibility, and real impact across agents

📺 Livestream: Ask the Experts: Evaluating Agent Skills

#NVIDIA#SkillEvaluator#NVIDIA Build#Harbor#SkillSpector#Gitleaks#Semgrep#Docker#Claude Code#Codex

原文约 5 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。