编译器
-
TileRT v0.1.3 发布:GLM-5 支持上线,推理速度高达 600 tokens/s,引领千亿模型毫秒级响应新时代
关键词: TileRT、大语言模型、推理引擎、低延迟、编译器 副标题: 600 tokens/s!TileRT 让千亿参数模型推理进入毫秒时代 TileRT v0.1.3 是一次里程碑式的发布,标志着 TileRT 从仅支持 DeepSeek-V3.2 单一模型扩展为多模型架构支持。本版本新增了对最新 GLM-5 模型的完整推理支持,并在 8× NVIDIA…