AWS 发布教程，介绍如何在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型：标准路径直接引用 AWS 的 llama.cpp 深度学习容器，从 Amazon S3 加载 GGUF 模型，并把 InvokeEndpoint 映射到 llama-server 的 OpenAI 兼容 chat completions 接口。可选的 SemIf 子镜像（SemIf 前身为 OpenJev）替换容器入口点，不生成答案 token，而是读取末位 logits，直接返回调用方声明选项的概率。AWS 用 Qwen3.5-4B Q4_K_M 在 231 个公开 JevBench 任务上测试：32 线程 CPU 端点（ml.c6i.8xlarge）正确 179/231（77.5%），p50 1.715 秒、p95 19.291 秒；ml.g6e.xlarge 全量 GPU 卸载为 180/231（77.9%），p50 0.352 秒、p95 0.599 秒，p50 快 4.9 倍、p95 快 32.2 倍。AWS 指出两个镜像使用了不同的 llama.cpp 构建，在 6 个难题上预测不同，因此把准确率差异视为运行时差异，而非 GPU 卸载提升质量的证据，并提到 Jev、Kev 与 Strands Decider 2B 等相关实现。

Amazon SageMaker AI·llama.cpp·SemIf·+5