大模型工程
-
大模型流式输出打字机效果的前后端实现
1. 背景 在使用ChatGPT时，发现输入 prompt 后，页面是逐步给出回复的，起初以为使用了 WebSckets 持久化连接协议，查看其网络请求，发现这个接口的通信方式并非传统的 http 接口或者 WebSockets，而是基于 EventStream 的事件流，像打字机一样，一段一段的返回答案。 ChatGPT 是一个基于深度学习的大型语言模型，…
-
9张图速览大模型核心技术：从Transformer到AI Agent的全面解析
在 AI 工程领域，RAG（检索增强生成）、LLM（大语言模型）和 AI Agent（智能体）是当前最核心的技术方向。本文通过 9 张可视化图表，系统性地解析其核心概念、技术差异与应用场景，旨在帮助读者快速把握技术脉络。 1. Transformer 与 混合专家 (Mixture of Experts) 混合专家（MoE）是一种改进Transformer模…
