Modal 推出 Endpoint Candidates
AI 总结
Modal 发布 Endpoint Candidates，并宣布该功能已面向所有 Modal 工作区正式可用（GA）。用户可为现有的 Dedicated Endpoint 创建候选部署，从 Modal 模型目录选择开放模型或从 Hugging Face 仓库、Modal Volume 自带权重，再配置流量采样，把一部分生产流量镜像到候选端点。镜像期间生产端点仍处理并返回用户看到的全部原始请求；用户可在仪表盘查看候选端点的延迟、吞吐等指标、跑负载基准测试，并通过候选端点自带的 URL 运行既有评测来评估输出质量，就绪后从仪表盘将其提升到生产。Modal 称镜像按尽力而为设计，每个镜像使用独立的有界缓冲，缓冲满时该镜像请求会被取消，生产与其他镜像继续运行；候选端点使用标准 Modal 计算定价，包含镜像请求所用算力。
深度见解
它把 A/B 式的模型与端点评估内置到推理平台中，让团队在真实生产流量下比较质量、延迟、吞吐与成本，而不必自建流量镜像基础设施。