文档压缩

Part I: 文本的“隐形重量” 我们通常认为文本是“轻”的：易于存储、传输和计算。但在大语言模型时代，文本变得非常“重”。 处理一张发票的PDF扫描件，就可能消耗1,000至5,000个tokens。将这个数量级乘以企业日志、法律合同、监管文件和数字化档案，总token量将变得极其庞大——其中大部分是冗余、昂贵且处理缓慢的。虽然OpenAI的GPT-4-…