英特尔推出面向至强处理器的推理微服务
AI 总结
英特尔宣布推出 Intel Inference Microservices，一套面向大语言模型推理的容器化微服务方案，目标是在企业已有的至强处理器上直接获得经过调优的推理能力。每个微服务是一个独立容器，通过 OpenAI 兼容 API 提供单个模型服务，启动时自动检测处理器代数、核心数、NUMA 节点与内置加速器（AMX、AVX-512、AVX2、VNNI），再套用英特尔验证过的配置参数。首批版本基于 vLLM 引擎、支持 BF16 精度，可运行于 Docker 或 Kubernetes 1.24 及以上环境，硬件要求为第四、五、六代至强，建议 32GB 内存。英特尔称后续版本将加入 Helm Chart、Kubernetes Operator、更多推理引擎与精度支持，并计划把同一模式扩展到包括 Crescent Island 在内的英特尔 GPU 平台。