开发者详解 Lamplight:连接两台机器的本地优先 AI 框架
一位开发者详细介绍自制的本地优先框架 Lamplight,它基于 Pi-Bolt 加自定义扩展,将一台 MacBook Pro(M5 Max、128 GB 统一内存)与一台自建小型主机(RTX 5090 FE、Ryzen 7 9800X3D、64 GB 内存)连接起来,通过 git worktree 和事件驱动的任务系统让一台机器编排另一台,Claude 也参与其中。他称目前约 95% 的 AI 使用在本地完成,两台机器均运行 Qwen 3.8 Flash-Next,上下文 262K,RTX 5090 机器(Basalt、IQ3_S)平均 302 tok/s,Mac(mlx-serve、4.7bpw MLX)平均 100 tok/s,HumanEval 分别为 99.4%/93.9% 与 98.8%/94.5%,LiveCodeBench v6 分别为 85.7% 与 85.1%,MMLU-Pro 分别为 87.9% 与 90.7%。他还分享了散热调优经验:对 5090 降压并自定义风扇曲线(575 W、83 °C 降至 471 W、70 °C),并在 Basalt 解码时将 CPU 频率限制在 4.8 GHz(120 W、96 °C 降至 77 W、70 °C);Mac 侧则通过把推理强度设为「中等」避免了输出上限截断。该框架本身暂未公开,开发者表示正在拆分部分组件以便后续分享。
这篇分享以第一人称记录了在消费级硬件上把大部分 AI 使用本地化的过程,并给出具体的功耗散热调优数值和量化选择,可供本地优先实践者对照参考。但由于框架尚未发布、且所有数据均为作者自报,该设置目前无法得到独立验证或复现。
#Lamplight#Qwen 3.8 Flash-Next#Pi-Bolt#Basalt#mlx-serve#Claude#RTX 5090#Apple MacBook Pro M5 Max#AMD Ryzen 7 9800X3D#Fractal Terra#MLX#llama.cpp