TinyFish 自研网页原生模型接入 Databricks
AI 总结
TinyFish 面向企业网页智能体场景自研一款专用网页原生模型，并把后训练、评估与生产部署统一放在 Databricks 上：用 AI Runtime 的托管 GPU 训练、用 MLflow 评估、用 Model Serving 上线。团队先在网页智能体任务上做监督微调，目前正转向 DPO。在其内部 go/no-go 基准中，该模型在 2,178 个网页智能体任务中成功完成 1,691 个，任务成功率 77.6%，并由独立 LLM 裁判审核请求、动作历史与最终结果，部分完成或结果不正确均计为失败。在最近 15 天内，TinyFish 记录了 294,781 次涉及该模型的智能体运行、共计 640 万次工具步骤，估算模型服务成本为每次运行 0.088 美元、每次工具步骤 0.0040 美元（仅计该模型本身的服务成本，不含完整智能体栈）。TinyFish 此前已在 Databricks 上服务其搜索重排器和查询改写模型，并通过 Unity Gateway 统一管理外部基础模型的调用与成本。
深度见解
它展示了一种思路：智能体团队把后训练、评估与部署收敛到同一平台，并用整任务成功率而非单条回答质量来衡量模型改进。