参数优化

OpenAI 发起了一项名为 Model Craft Challenge 的全新挑战，其核心项目为“Parameter Golf”。这项挑战设定了极为严苛的约束条件。 参与者需要在固定的 FineWeb 数据集上，尽可能降低模型的验证损失。同时，最终的模型产物（包含权重与训练代码）必须控制在 16 MB 以内，并且训练过程必须在 8 张 H100 GPU 上…