RAG

你是否考虑过RAG流水线中的文档隐私风险？本文介绍一种新方法，旨在解决此问题。 为何“标准RAG → 云端搜索”存在隐私缺陷 标准RAG将明文文档直接输入提示词。对于企业合同、医疗记录或个人笔记等敏感数据，这种做法在设计上就暴露了信息，不可行。 参数化RAG尝试将知识“烘焙”进LoRA权重，但在实践中面临两大挑战： 运维负担与时延：每份文档都需要生成合成问答…

传统 OCR 工具在处理包含复杂表格、数学公式或多栏排版的文档时，往往输出杂乱，需要大量人工整理。近期，百度开源的 PaddleOCR-VL-0.9B 模型在文档理解任务上展现出了显著突破。 尽管其参数量仅为 9 亿，但该模型在全球权威评测基准 OmniDocBench v1.5 上取得了 92.6 的综合得分，位列榜首。在推理速度上，相比同类模型 Mine…

本项目构建了一个由 AI 驱动的聊天机器人，能够将自然语言问题转换为 SQL 查询，并直接从 SQLite 数据库中检索答案。该应用结合了 LangChain、Hugging Face Embeddings 和 Chroma 向量存储，通过检索增强生成（RAG）工作流，将非结构化的用户输入与结构化数据库连接起来，并配备了 FastAPI 后端与 Stream…

手动抽查提示词和输出，既慢又容易遗漏，长期来看难以持续。要确保 LLM 应用上线后稳定可靠，必须将评估过程自动化、流水线化。本文旨在全面解析 LLM 评测的各个方面，帮助你构建长期稳定运行的 LLM 应用。 对 LLM 进行评测，是确保其输出符合人类预期的关键环节，涉及伦理安全、准确性、相关性等多个维度。从工程实践角度看，LLM 的输出可被转化为一系列单元测…

大多数创业者以为自己在构建AI产品，其实他们真正在做的是构建上下文选择系统。 近期，旧金山举办了一场高规格AI圆桌讨论，嘉宾包括来自Uber、WisdomAI、EvenUp和Datastrato的工程师和机器学习负责人。这场名为“Beyond the Prompt”的活动吸引了600多位报名者，主要是创始人、工程师和早期AI产品构建者。 讨论的核心议题是上下…