教程将英语批改智能体封装为 FastAPI 服务
AI 总结
这篇掘金教程介绍了如何把「启明英语」小 E 英语批改智能体从本地 demo 改造成可供学生小程序调用的 FastAPI 服务。内容涵盖三个 HTTP 接口、结构化响应、依赖注入、输入校验、会话隔离、SSE 流式输出,以及 27 个全程离线的测试用例。作者同时指出,Redis 会话存储、限流、监控、日志和告警仍需在上线阶段补齐。
深度见解
教程提供了将 LLM 智能体从本地脚本服务化的具体路径,并实际讨论并发、会话隔离、结构化错误和流式响应等工程问题。
给「启明英语」做的小 E,前九篇攒下的代码,全都在 demo.py 里跑得漂漂亮亮。直到同事来找我,说想把批改接到小程序里给学员用。
我第一反应是"很简单,把 demo 改改就行"。结果一动手才发现,本地能跑和能用,中间隔着一整座桥:小程序怎么调我的 Python?两个学生同时提交,会话历史会不会串?模型返回慢了,用户盯着白屏吗?
这一篇是这个系列的收官,我们把前九篇的能力装进一个 FastAPI 服务——结构化输出、上下文管理、稳定性兜底,全部收拢成三个 HTTP 接口,真正推到线上。
一、先扫盲:脚本和服务差在哪
1. 脚本是"你跑一下",服务是"谁都能调"
demo.py 是你双击运行,输出打到终端。产品需要的是:任何客户端(小程序、网页、群机器人)通过 HTTP 请求,拿到结构化响应。 这一步的载体就是 Web 服务框架——这里用 FastAPI,轻、类型友好、自带交互式接口文档。
#启明英语小 E#FastAPI#Pydantic#LangChain#Redis#Server-Sent Events#Uvicorn