Triton

我们所研究的优化方法累计实现了高达 589%的性能提升 ，并已将相关内核与框架作为开源项目贡献（ ibm.biz/vllm-ibm-triton-lib ）。最终，我们开发的高度优化内核已成为 vLLM 中 AMD 部署的默认注意力后端。 关键词：Triton、Attention Kernel 、Portability 、Large Language Mod…