用16GB显卡构建持久记忆本地助手
掘金 · 人工智能 报道了一项第一人称实践:作者将本地 Qwen3.8-Flash-Next 改造成具备结构化持久记忆、文件检索、合同问答、看图、提醒和出处引用能力的助手。作者称,v0.2.0 至 v0.12.1 的项目包含513项自动化测试,并在84道题的评测中达到92.1%;系统采用结构化事实更新、作用域隔离、默认关闭写操作,并提供包含八个工具的 MCP 接口。该方案运行于 RTX 5060 Ti 16GB 和64GB内存机器上,但122GB模型大量依赖系统内存,因此短上下文和精准检索比直接处理整份文档更实际。
这份记录展示了围绕本地大模型构建可审计持久记忆的具体实现与评测方法,也披露了硬件限制、事实抽取错误、提示词注入泄漏和开放写权限的风险。
11 月 20 日晚上到 22 日上午,我在一台 RTX 5060 Ti 16GB + 64GB 内存的机器上,把一个只会聊天的本地模型,改造成了能跨天记住客户预算、账期、承诺,还能查文件、读合同、看图、按点提醒、按出处回答的助手。
中间经历了 16 个版本(CHANGELOG 从 v0.2.0 记到 v0.12.1)、8 个不修就会丢客户数据的坑、513 条自动化测试,最后用 84 道题跑出一份 92.1% 的评测基线。
这篇不是"如何用 AI 做助手"的畅想,是这一路的真实记录:每个数字都能在日志里找到出处,每个坑都踩过至少一次。
一、为什么不直接用"聊天记录"当记忆
本地模型是无状态的。关掉窗口,它连你上一句问什么都忘了。市面上有三种做法,我全试过前两种:
#memory-agent v0.12.1#Qwen3.8-Flash-Next#bge-m3#Strata IQ3_XXS#NVIDIA RTX 5060 Ti#Claude Code#Codex#DSH#Model Context Protocol