AirLLM：单卡 4GB 显存跑 2.8T 大模型并支持小显存微调
AI 总结
AirLLM 是一个开源推理与训练库，通过把权重按层流式加载、同一时间只在 GPU 上保留一层，从而大幅压低显存占用。据其仓库说明，它无需量化、蒸馏或剪枝即可在单张 4GB 显卡上运行 70B 模型，并称能在 3.72GB 显存中运行 Kimi K3（2.8T）、约 5.95GB 运行 Qwen3.8-Flash-Next（125B）、约 12GB 运行 DeepSeek-V3（671B）。仓库近期还加入小显存训练支持，可在 6GB 以下微调 Qwen3.8-Flash-Next（125B）、在约 2GB 下训练 Qwen3.8-27B。上述显存与训练数字均为项目方自述的实测结果，未见第三方独立验证。
深度见解
它把“能否在消费级显卡上跑大模型”的门槛压到显存层面，若数据可复现，会让更多个人开发者接触超大模型。