vLLM开源Decision 3.0多模态决策模型,登顶决策榜
vLLM社区孵化的开源项目vLLM Semantic Router推出并开源多模态决策模型Decision 3.0系列,共含d3、d3-flash、d3-mini、d3-nano、d3-lite和d3-edge六款,参数规模覆盖0.6B至27B,权重已在Hugging Face发布。旗舰d3基于Qwen3.8-27B打造,支持多图与视频输入,其余模型基于不同规模Qwen3.5;与主要走云端API的Jev不同,该系列开放权重、可本地部署。据团队数据,在决策能力榜单Jev Decision Index 0.3.1中,d3文本决策指数64.7分、视觉榜71.6分均列第一,超过Jev的60.1分与微软Decision-1(9B,基于Qwen3.5-9B微调)的53.2分;团队还称单张AMD Instinct MI325X GPU上d3文本请求延迟中位数55毫秒、含图片273毫秒、10秒视频553毫秒,并有开发者通过Core ML在M5 Pro Mac上本地完成1000个PR的约2分钟分类路由。
轻量决策模型承担意图识别、分类与模型路由,可减轻通用大模型处理简单任务的负担,帮助多模型系统控制推理成本并提升响应速度。

智东西 编译 | 杨京丽 编辑 | 李水青
智东西10月12日消息,昨天,vLLM社区孵化的开源AI基础设施项目vLLM Semantic Router推出并开源多模态决策模型Decision 3.0系列。该系列模型能够根据输入内容完成分类、选择、是非判断和评分等任务,直接返回判断结果和概率,不生成长篇文本。

▲vLLM Semantic Router推出并开源Decision 3.0(图源:X)
这类不生成长文本,专门“做判断”的模型,近期因Jev走红而受到关注。Jev模型上线仅3天,其Token用量便达到1万亿;上线仅24天,其开发商TypeSafe AI便宣布获得a16z领投的8.7亿美元(约合人民币58亿元)融资,估值达到75亿美元(约合人民币502亿元)。
#vLLM Semantic Router#Decision 3.0#d3#Jev#TypeSafe AI#a16z#Microsoft#Microsoft-Decision-1#Qwen#Hugging Face#AMD Instinct MI325X#Core ML