RAG

那层几乎无人提及、却决定你AI应用成败的排序层。 Google、Netflix、具备联网搜索功能的ChatGPT，它们有何共通之处？都依赖一个排序算法来决定你首先看到什么。它不决定“有什么”，而是决定你“看见什么”。 当我们的团队调试RAG流水线，探究为何它对某些查询返回一堆无关内容时，“排序学习”问题一次次浮现。算法本身不难找到，但几乎没有人在构建AI应用…

如果你一直在关注《Master LLMs》系列，那么你已经走过了从建立直觉到理解机制，再到学习关键原则的旅程。现在，我们将转向动手实践，聚焦于构建AI应用时，如何与大型语言模型（LLM）进行高效沟通的核心技艺。 许多人在使用LLM时并未意识到一个关键点： 模型非常聪明，但也非常“按字面理解”。 与LLM的沟通，并非像与人交谈那样简单。它既比想象中更直接，也比…

注：本文为技术内容，诸如 RAG、Agentic、Vector Database、SQL、Embedding、Cross-Encoder、LLM 等专业术语均保留英文原文，以保证准确性与可检索性。 🤔 问题：为何多数 AI 助手显得“笨拙” 设想你向一位财务分析师提问：“我们公司表现如何？” 一位初级分析师可能会匆忙给出几个数字。而一位资深专家则会先停下来，…

你是否遇到过这样的困扰：只想让大模型读取10段关键资料，它却被迫处理100段，导致token消耗激增，响应速度却异常缓慢？ 这一行业普遍痛点，如今被Meta提出的全新方案彻底解决。 他们刚刚开源了一个名为 REFRAG 的革新性RAG架构。其核心思想极为直接：在信息输入大模型前，将无关的上下文极度压缩，仅保留并提供真正有用的部分。 实测数据令人印象深刻：* …

首个基于 MCP 的 RAG 框架 UltraRAG：零代码构建多模态检索增强生成系统 UltraRAG 是一个基于 MCP 的开源检索增强生成框架，旨在让用户无需编写代码即可构建复杂的 RAG 系统。 RAG 系统通过让 AI 模型先检索相关信息再生成答案，从而显著提高回答的准确性。 UltraRAG 是由清华大学 THUNLP、东北大学 NEUIR、Op…

如果你曾尝试自己搭建一套 RAG（检索增强生成）系统，大概深有体会：管理向量嵌入、配置向量数据库、进行文本切分，还要确保整个流程与模型顺畅协作且成本可控，过程相当繁琐。 现在，Google 用一个新工具解决了这些麻烦。 他们在 Gemini API 中悄然推出了全新的 File Search Tool，它能替你处理 RAG 流程中的所有繁重工作。你只需上传文…

你是否考虑过RAG流水线中的文档隐私风险？本文介绍一种新方法，旨在解决此问题。 为何“标准RAG → 云端搜索”存在隐私缺陷 标准RAG将明文文档直接输入提示词。对于企业合同、医疗记录或个人笔记等敏感数据，这种做法在设计上就暴露了信息，不可行。 参数化RAG尝试将知识“烘焙”进LoRA权重，但在实践中面临两大挑战： 运维负担与时延：每份文档都需要生成合成问答…

传统 OCR 工具在处理包含复杂表格、数学公式或多栏排版的文档时，往往输出杂乱，需要大量人工整理。近期，百度开源的 PaddleOCR-VL-0.9B 模型在文档理解任务上展现出了显著突破。 尽管其参数量仅为 9 亿，但该模型在全球权威评测基准 OmniDocBench v1.5 上取得了 92.6 的综合得分，位列榜首。在推理速度上，相比同类模型 Mine…

本项目构建了一个由 AI 驱动的聊天机器人，能够将自然语言问题转换为 SQL 查询，并直接从 SQLite 数据库中检索答案。该应用结合了 LangChain、Hugging Face Embeddings 和 Chroma 向量存储，通过检索增强生成（RAG）工作流，将非结构化的用户输入与结构化数据库连接起来，并配备了 FastAPI 后端与 Stream…

手动抽查提示词和输出，既慢又容易遗漏，长期来看难以持续。要确保 LLM 应用上线后稳定可靠，必须将评估过程自动化、流水线化。本文旨在全面解析 LLM 评测的各个方面，帮助你构建长期稳定运行的 LLM 应用。 对 LLM 进行评测，是确保其输出符合人类预期的关键环节，涉及伦理安全、准确性、相关性等多个维度。从工程实践角度看，LLM 的输出可被转化为一系列单元测…