长文本压缩

为什么现有上下文压缩方法在高压缩率下集体“翻车”？ 当模型需要将32K的长文本压缩到1K时，性能为何会断崖式下跌？现有方法在长文本压缩中容易保留大量“高度相似却重复”的内容，陷入“信息内卷”：看似保留了相关片段，实则堆砌了语义雷同的冗余token，反而会误导模型生成错误答案。 来自阿里巴巴未来生活实验室的研究团队发现，这背后是压缩目标的根本错位：现有方法只关…

在人工智能快速发展的今天，处理长文本输入已成为大语言模型面临的核心挑战之一。传统的token扩展方法虽然在一定程度上缓解了上下文长度限制，但随之而来的算力成本呈指数级增长，使得百万级token的处理在经济和技术上都变得不可持续。当业界普遍在位置编码扩展和注意力机制优化上投入大量资源时，智谱AI推出的Glyph框架却开辟了一条全新的技术路径：将文本转化为图像，…