Soup v0.76.0发布：4GB显存微调8B模型
AI 总结
Soup 是一个用单个 YAML 配置微调大模型的命令行工具，其 v0.76.0 版本把此前“接受了却从未生效”的配置项改为在加载时直接拒绝，并包含多项破坏性变更（如默认不再为 grpo/ppo/online_dpo 留出验证行）。其可选功能 layer streaming（需 stream_layers: true，仍为 BETA）把冻结的基座权重移出显存、逐层送入 GPU：项目记录显示在 4 GB 显存的 RTX 3050 Laptop 上，Llama-3.1-8B-Instruct + NF4 峰值显存 3.32 GB、119.6 tok/s（v0.72.2，正确性修复前）；另一次修复后的记录为 208.6 tok/s、2.40 GB 峰值，但项目自己说明两者时钟频率不同，不能直接比较。新版还让验证集在每个 epoch 结束或每 N 步评估一次验证损失，并为磁盘分层读取启用后台线程与直接 I/O，可用环境变量跨多块 NVMe 条带化。
深度见解
它把大模型微调的门槛压到消费级笔记本 GPU 级别，同时提醒开发者：配置项静默不生效是训练工具链里代价高昂的隐患。