流式输出
-
实战指南：基于LangChain与FastAPI构建实时多工具AI智能体
构建一个可用于生产的、工具增强型 LLM Agent，使其具备 Token 流式输出、代码执行、搜索能力，并利用 FastAPI 实现高性能 API 服务。 ChatGPT 的出现带来了震撼的体验，但开发者很快开始思考：如何超越“聊天”本身？我们能否构建一个能够实时推理、联网搜索、执行代码、查询数据，并像人类打字一样流式响应的智能体？ 答案是肯定的。通过结合…
-
大模型流式输出打字机效果的前后端实现
1. 背景 在使用ChatGPT时，发现输入 prompt 后，页面是逐步给出回复的，起初以为使用了 WebSckets 持久化连接协议，查看其网络请求，发现这个接口的通信方式并非传统的 http 接口或者 WebSockets，而是基于 EventStream 的事件流，像打字机一样，一段一段的返回答案。 ChatGPT 是一个基于深度学习的大型语言模型，…
