编译器优化
-
万亿参数训练不再难：GraphPP用图变换彻底消除流水线气泡，加速70%
随着模型参数规模跨越万亿大关，分布式训练已演变为深度学习领域的“基础设施新范式”。然而，流水线并行在突破单张GPU显存极限的同时，也引入了一个棘手的性能杀手——“气泡”问题：GPU在等待跨阶段依赖时大量陷入空转，严重稀释了昂贵算力的实际投入。 上图揭示了大模型训练中一个核心的权衡循环（Tradeoff Cycle），清晰展现了模型规模增长所引发的连锁式挑战。…
-
CGO’25 新突破：基于MLIR的持久化e-graph技术，彻底解决编译器阶段顺序难题
关键词：等式饱和、e-graph、编译器、MLIR、持久化、优化 通过将 e-graph 直接嵌入 MLIR，研究人员让等式饱和贯穿整个编译流程，无需反复翻译、不丢失等价信息，并成功复现了 Herbie 浮点精度优化工具。 现代编译器通常由一系列独立的优化遍（pass）组成，每个遍在中间表示（IR）上执行特定的转换，例如常量折叠、死代码消除、循环不变式外提等…
-
Dato：突破内存墙，数据流加速器编程新范式实现98%理论峰值利用率
关键词：Dato、数据流加速器、任务型编程模型、通信抽象、虚拟-物理映射 随着人工智能计算的不断发展，数据流加速器将扮演越来越重要的角色。Dato为这些复杂硬件的编程提供了全新的思路，有望成为下一代人工智能计算基础设施的关键组成部分。 Dato的核心创新在于其类型系统的设计，将数据通信和数据分片都提升为一等类型，这使得编译器能够在早期阶段进行深入的分析和优化…
-
NiceToMeetYou：MLIR抽象变换器自动合成框架，精度超越手工版17%，革新编译器静态分析
关键词： Abstract Transformers 、Program Synthesis 、MLIR、Static Analysis 、 Compiler Optimization 、Formal Verification 不再依赖人工编写，一个框架让编译器拥有更精确的静态分析能力。 编译器是现代软件基础设施的基石之一，它们不仅将高级语言代码翻译成机器指令…
