Llama for Windows 发布,一键本地跑模型
AI 总结
Llama for Windows 是 macOS 版 Llama 应用的 Windows 对应版本,一款基于微软 WinUI 3 构建的免费开源 Windows 11 应用,常驻系统通知区域,通过任务栏图标打开控制面板。它可直接连接 Hugging Face 模型仓库,内部提供推荐模型列表,显示参数规模、磁盘占用及是否支持图像理解,并自动下载由 llama.cpp 生态推动的 GGUF 量化模型,全程不需要管理员权限,也无需手动编译源码或配置启动参数。应用提供 Alt+Space 浮动聊天窗口、用于加载和卸载本地模型的内置网页界面,并可在本机启动默认地址为 localhost:9931 的 OpenAI 兼容接口服务器,供脚本与 AI 智能体调用,多款应用还能共享同一份模型文件。据项目说明,提示词与模型推理均在本机完成,不收集遥测数据或生成安装标识符,联网仅用于下载模型与获取更新;应用支持 Windows 11 的 x64、ARM64 平台以及英伟达 RTX Spark 平台,未将 Windows 10 列为支持系统。
深度见解
它把模型仓库、推理引擎与命令行配置整合进轻量界面,同时保留本地 OpenAI 兼容接口,可能降低普通 Windows 用户运行开放权重模型的门槛。