Memorilla开源LLM潜语义记忆系统
AI 总结
Memorilla开发者以Apache 2.0许可证公开了代码、检查点和评测流程,可将文档集合压缩为固定数量的查询相关记忆令牌,供冻结的LLM使用。开发者称,16个记忆令牌在FactKG上取得84.33%的准确率,高于全文档提示的80.43%,同时少用108倍令牌,并将TextWorld智能体的平均成功率从18.6%提升至24.2%。仓库还包含基于TextWorld和GRPO的强化学习流程。
深度见解
Memorilla为冻结的LLM访问大型文档集合提供了可实现的紧凑记忆方案,并报告了令牌效率与基准测试方面的收益。
🦍 Memorilla: Latent Semantic Memory for LLMs

Memorilla: Latent Semantic Memory for LLMs
This repository provides code for training and evaluating Memorilla, a memory system that gathers information from an entire document collection into a fixed number of query-dependent memory tokens for a frozen LLM. The code is based on our paper Memorilla: Latent Semantic Memory for LLMs.
#Memorilla#Qwen3-8B#Qwen3-Embedding-4B#Mem0#MemoRAG#FactKG#TextWorld#SkyRL-Memorilla