边际信息增益

为什么现有上下文压缩方法在高压缩率下集体“翻车”？ 当模型需要将32K的长文本压缩到1K时，性能为何会断崖式下跌？现有方法在长文本压缩中容易保留大量“高度相似却重复”的内容，陷入“信息内卷”：看似保留了相关片段，实则堆砌了语义雷同的冗余token，反而会误导模型生成错误答案。 来自阿里巴巴未来生活实验室的研究团队发现，这背后是压缩目标的根本错位：现有方法只关…