知识蒸馏
-
DistilledPRAG：不暴露明文文档的隐私保护RAG新范式
你是否考虑过RAG流水线中的文档隐私风险？本文介绍一种新方法，旨在解决此问题。 为何“标准RAG → 云端搜索”存在隐私缺陷 标准RAG将明文文档直接输入提示词。对于企业合同、医疗记录或个人笔记等敏感数据，这种做法在设计上就暴露了信息，不可行。 参数化RAG尝试将知识“烘焙”进LoRA权重，但在实践中面临两大挑战： 运维负担与时延：每份文档都需要生成合成问答…
-
突破模型家族壁垒：Hugging Face GOLD技术实现跨分词器知识蒸馏革命
在人工智能模型部署与优化的前沿领域，模型压缩技术一直是平衡性能与效率的关键。传统知识蒸馏方法虽然能够将大型“教师”模型的知识迁移到小型“学生”模型中，但长期以来面临一个根本性限制：教师和学生模型必须使用相同的分词器。这一限制严重制约了技术应用的灵活性，使得不同模型家族之间的知识传递几乎不可能实现。 Hugging Face研究团队最新提出的GOLD（Gene…
