小型开放权重模型真实编程任务研究
AI 总结
一篇提交至arXiv的回顾性实证系统论文,研究小型开放权重模型能否完成真实编程工作,而不只是生成连贯文本。论文基于4,165次网关调用、623次调试任务和三项委派研究,揭示不同模型与运行时在工具调用格式、会话连续性、产物验证和可靠性方面的差异。作者明确表示,各项研究未合并计算,也不构成模型或运行时排名。
深度见解
该研究提供了具体证据:可靠的编程智能体表现不仅取决于文本与工具调用,还受服务方式、协议、会话连续性和独立产物检查影响。
Computer Science > Software Engineering
arXiv:2610.34241 (cs)
[Submitted on 25 Oct 2026]
Title:Beyond Benchmarks: Can Small Open-Weight Models Get Real Coding Work Done?
Authors:Vaibhav Jain
View a PDF of the paper titled Beyond Benchmarks: Can Small Open-Weight Models Get Real Coding Work Done?, by Vaibhav Jain
#Qwen3-Coder 30B-A3B#Claude Opus 5.5#Nemotron Cascade 2#vLLM#SGLang#MLX