查询优化

在本地部署大语言模型的实际应用中，一个普遍存在的性能瓶颈是重复查询处理效率低下。用户常常发现，当以不同表述方式询问本质上相同的问题时（例如“怎么退款”与“如何申请退货”），模型每次都需要重新执行完整的推理流程，导致响应延迟长达数秒，严重影响了交互体验和系统资源利用率。这一问题的根源在于传统缓存机制通常基于查询字符串的字面匹配，无法识别语义层面的相似性。 针对…