创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Hugging Face宣布llama.cpp与vLLM量化工作坊直播

AI 总结

Hugging Face 宣布将于“下周二”举办量化工作坊直播,重点讲解如何缩小模型以适配笔记本电脑。Merve 在一篇 Reddit 帖子中表示,课程将介绍量化原理、double quantization 与 calibration 等现代技术,以及 llama.cpp 的 k-quants 和 i-quants。节目还将分享 llama.cpp 与 vLLM 量化的实践经验。公告列出的参与者包括 Merve、Maxime Labonne、Aditya Tadimeti、Michael Goin 和 Colin Kealty。直播计划在 Hugging Face 的 YouTube、X 和 LinkedIn 账号播出,观众可设置提醒。

Hey folks, it's Merve from Hugging Face. Title of this post is super self explanatory, we are doing a quantization workshop livestream with Michael Goin (lead maintainer of vLLM at RedHat), Colin Kealty (aka bartowski at RedHat), Maxime Labonne and Aditya Tadimeti. I will shortly teach you how quantization works, modern ideas (double quantization, calibration) and llama.cpp quants (k-quants, i-quants) so even if you don't have an idea, feel free to chime in. Everything is on Hugging Face YT, X, LI where you can set reminders. Looking forward to see y'all! submitted by /u/unofficialmerve [link] [comments]

#Hugging Face#llama.cpp#vLLM#Red Hat#Michael Goin#Colin Kealty#Maxime Labonne#Aditya Tadimeti#Merve Noyan#Hugging Face YouTube

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。