用 FastAPI 搭建面试智能体流式服务
AI 总结
教程为模拟面试智能体搭建 FastAPI 服务端,提供普通回答和基于 Server-Sent Events 的流式接口。实现将模型密钥保留在服务端,并加入依赖注入、集中重试、可读的模型错误、密钥脱敏,以及覆盖模型工厂、聊天路由、健康检查和流式行为的 69 个离线测试。作者称该服务可承受并发使用,但原报告未提供独立的并发或延迟验证。
深度见解
这篇教程展示了如何把缓慢的单脚本 AI 工作流改造成具备增量输出、明确失败处理、服务端密钥管理和离线测试的分层服务。其并发与性能特性主要来自作者陈述,尚未经过独立测量。
上一讲我们把工程骨架和 build_llm 三通路搭好了,能离线问出面试官的第一句话。但那只是一个玩具——你敲一句、等程序跑完、才看到一整段答案。真要做成产品,这一步就得翻车:整段返回要等十几秒到半分钟,练面试的人耐心直接被磨没;哪怕忍住等了,用户一并发上来,服务端也容易挂。
这一篇我们把"服务端"真正搭起来,做三件事:用 FastAPI 把能力暴露成接口、把回答改成流式逐字上屏、给模型调用套上一层不裸崩的错误处理。做完之后,前端(后面几篇的鸿蒙 App)接的就不是一段 Python 脚本,而是一个能扛并发、会流式、出错说得清的服务。