创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Memorilla开源LLM潜语义记忆系统

AI 总结

Memorilla开发者以Apache 2.0许可证公开了代码、检查点和评测流程,可将文档集合压缩为固定数量的查询相关记忆令牌,供冻结的LLM使用。开发者称,16个记忆令牌在FactKG上取得84.33%的准确率,高于全文档提示的80.43%,同时少用108倍令牌,并将TextWorld智能体的平均成功率从18.6%提升至24.2%。仓库还包含基于TextWorld和GRPO的强化学习流程。

深度见解

Memorilla为冻结的LLM访问大型文档集合提供了可实现的紧凑记忆方案,并报告了令牌效率与基准测试方面的收益。

🦍 Memorilla: Latent Semantic Memory for LLMs

link

https://memory.stanford.edu


 Memorilla: Latent Semantic Memory for LLMs

This repository provides code for training and evaluating Memorilla, a memory system that gathers information from an entire document collection into a fixed number of query-dependent memory tokens for a frozen LLM. The code is based on our paper Memorilla: Latent Semantic Memory for LLMs.

#Memorilla#Qwen3-8B#Qwen3-Embedding-4B#Mem0#MemoRAG#FactKG#TextWorld#SkyRL-Memorilla

原文约 6 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。