池化感知训练降低多向量检索存储
AI 总结
Tom Aarsen在Hugging Face的技术报告中提出面向多向量嵌入模型的池化感知训练,让编码器在合并相似词元向量时保留有用信息。作者报告称,因子4配置将文档向量数量减少至四分之一,同时保留了未池化NanoBEIR nDCG@10表现的97.8%,高于普通训练的94.6%,并提供了可复现的Sentence Transformers代码和检查点。
深度见解
在相同向量预算下,池化感知训练能比普通训练保留更多检索质量,有望提升多向量检索的存储效率。
#Sentence Transformers#ModernBERT#ColBERT#NanoBEIR#Fast-PLAID