性能加速
-
性能飙升8倍!Vortex RISC-V GPGPU通过解耦控制流与内存访问实现革命性突破
关键词: RISC-V GPGPU 、Vortex、控制流管理、 解耦内存访问 、硬件优化 、性能加速 从开源 GPU 的机遇与挑战说起。在当今计算领域,图形处理器(GPU)已从专为图形渲染设计的硬件,演变为支撑人工智能、科学计算和高性能计算的关键通用计算平台。 然而,绝大多数 GPU 研究依赖于 NVIDIA 等商业 GPU 的模拟框架,这些框架虽然功能强…
-
REFRAG:突破RAG性能瓶颈,利用注意力稀疏性实现30倍加速
随着大语言模型在检索增强生成(RAG)系统中的广泛应用,一个日益突出的性能问题浮出水面:上下文窗口的持续扩展导致首个token生成延迟呈二次方增长,严重制约了系统的实时响应能力。传统RAG流程虽然简单直接——将查询编码为向量,从向量数据库中检索相似文本块,然后完整输入给LLM处理——但这种方法存在显著效率缺陷。大多数检索到的文本块包含大量无关内容,迫使LLM…