创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

作者称 EmbeddingGemma-2 加 PCA 头登顶纯音频 MAEB

AI 总结

Reddit 用户 /u/JeanMichelRanu 在两篇帖子中称,他为 Google 的 EmbeddingGemma-2(577M)加入了一个包含冻结 PCA 矩阵的 2.37 MB safetensors 文件。该适配器压缩 Conformer 第 2、6 层的声学特征,并将其注入模型未使用的 256 维零空间,全程未训练模型权重。据作者称,MAEB 宏平均分从 49.3% 升至 54.4%,使模型在纯音频 MAEB 榜从第 26 位升至第 1 位,在完整 MAEB 榜从第 16 位升至第 1 位。报告的音频到音频结果包括:性别聚类从 0.05% 升至 63.1%,艺人检索从 55.2% 升至 93.8%,声音情绪分类从 19.7% 升至 40.2%,环境声音任务从 38.8% 升至 56.3%。作者表示,超过 100 种语言的文本到音频检索成绩变化不超过 0.05 分,文本嵌入也保持不变。报告的取舍包括音频嵌入无法再使用 Matryoshka 截断,以及语音意图任务表现下降,其中 MInDS14 从 97.6% 降至 88.3%。所提供材料只有作者发布的结果,没有独立复测或验证。

深度见解

据作者报告,一个小型、无需训练的声学适配器让 577M 参数模型在 MAEB 上超过 80 亿至 90 亿参数的多模态系统,同时保留多语言文本到音频检索能力。这一方法可能适用于本地和边缘设备上的音频嵌入实验,但所提供报道中的基准结果尚未经过独立验证。

Model & weights: BrunoHays/embeddinggemma-2-nullspace-audio

MAEB (Massive Audio Embedding Benchmark) is the main MTEB leaderboard benchmark for audio and text-to-audio embeddings, currently dominated by 8B-9B multimodal models.

I took Google's edge-sized google/embeddinggemma-2 (577M params, 768d vectors) and boosted its MAEB score from 49.3% to 54.4% (+5.1 points), jumping from Rank #26 to #1 on MAEB audio-only (and #16 to #1 on full MAEB) without training a single weight. The whole addition is a 2.37 MB safetensors file of frozen PCA matrices.

Why this matters for local / edge setups

At 577M parameters and 768d vectors (15x smaller than 9B Omni models), it runs easily on a laptop or edge device.

Standard text-aligned audio models are great at matching spoken words to text, but terrible at grouping audio by voice, emotion, or sound similarity because the final layers keep what words were said and drop how the sound was made.

#EmbeddingGemma-2#BrunoHays/embeddinggemma-2-nullspace-audio#Google

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。