创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

AbliteratedOutTheBox 移植至 Strata

AI 总结

一名开发者将基于 llama.cpp 分支构建的 AbliteratedOutTheBox 推理时消融引擎移植到了 Strata。开发者称,该工具无需大量显存或微调即可使用消融模型,但相关报告尚未独立验证这些优势。开发者表示,Strata 版本仍处于实验阶段,完整模型行为和响应质量尚待验证。

深度见解

此次移植为 Strata 增加了一种推理时消融选择,但其仍属实验性质,完整模型行为和响应质量也需要进一步验证,因此目前能确定的信息有限。

I’ve been working on an inference-time abliteration engine as a fork of llama.cpp, and I’ve now ported the hook to Strata.

It acts as an easy way to use abliterated models without huge amounts of vram or finetuning.

https://github.com/heterodoxin/AbliteratedOutTheBox/tree/strata

A star or upvote would help this project a lot.

The Strata port is experimental, full-model behavior and response quality still need validation. If anyone running Strata wants to try it, I’d appreciate feedback

#AbliteratedOutTheBox#Strata#llama.cpp

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。