大模型工程
-
AI在线强化学习实现“实践式学习”,斯坦福团队助力7B小模型性能大幅提升,表现超越GPT-4o
斯坦福团队推出AgentFlow框架,通过在线强化学习让仅7B参数的小模型在流式协作中“边做边学”。该方法使模型在搜索、数学等10项任务中性能显著提升,部分表现甚至超越了GPT-4o等超大模型,证明了优化系统设计可突破模型规模限制。
-
DeepSeek 本地化部署:打造专属智能助手
本文详细介绍了如何在本地使用Ollama框架部署DeepSeek模型,涵盖硬件要求、安装步骤、界面搭建及注意事项,帮助用户打造安全私密的个人智能助手。
-
探秘AI智能体设计模式:从ReAct到LATS,深入剖析智能体的“大脑”构建术
AI智能体的设计模式围绕效率与灵活性展开:基础模式ReAct通过”思考-行动-观察”循环实现环境交互;Plan & Execute、ReWOO和LLM Compiler通过预规划和并行执行优化效率;反思架构赋予智能体自我改进能力;LATS实现多路径智能决策。这些模式为不同应用场景提供了关键设计思路。
-
LLM 大模型工程师:AI 时代的弄潮儿
随着 LLM 技术的不断发展和突破,LLM 大模型工程师这一新兴职业应运而生,他们正成为推动 AI 进步的关键力量,对于传统软件工程师来说,了解并迈向这一领域,或许将开启一段充满机遇与挑战的职业新征程。
-
企业推进大模型落地的关键工程与核心指标
企业推进大模型落地,需统筹五大关键工程:算力工程是基础设施,关注规模、效率与服务;应用工程是价值门户,衡量业务覆盖与成效;模型工程是技术核心,驱动算法效能与迭代;知识工程是企业智库,负责知识的沉淀与复用;数据工程是循环血脉,确保数据的贯通与消费。五者协同,方能实现真正的业务智能化。
-
大模型流式输出打字机效果的前后端实现
1. 背景 在使用ChatGPT时,发现输入 prompt 后,页面是逐步给出回复的,起初以为使用了 WebSckets 持久化连接协议,查看其网络请求,发现这个接口的通信方式并非传统的 http 接口或者 WebSockets,而是基于 EventStream 的事件流,像打字机一样,一段一段的返回答案。 ChatGPT 是一个基于深度学习的大型语言模型,…