OpenAI 发起了一项名为 Model Craft Challenge 的全新挑战，其核心项目为“Parameter Golf”。这项挑战设定了极为严苛的约束条件。
参与者需要在固定的 FineWeb 数据集上，尽可能降低模型的验证损失。同时，最终的模型产物（包含权重与训练代码）必须控制在 16 MB 以内，并且训练过程必须在 8 张 H100 GPU 上于 10 分钟内完成。
这些限制条件几乎排除了单纯堆叠参数或比拼算力的传统方法。挑战的重点转向了模型结构设计、极致压缩技术、策略取舍以及工程实现上的巧思。
挑战的名称“Parameter Golf”借鉴了高尔夫运动的理念。如同高尔夫追求以最少的杆数进洞，“Parameter Golf”旨在鼓励研究者用最少的参数达成最优的模型性能，探索模型效率的技术极限。
该挑战面向全球开放，旨在探索严格资源约束下更高效的预训练模型。表现突出的参与者可能获得 OpenAI 的面试机会，获胜方案亦有机会被公开展示。
在赛题设计上，挑战借鉴了“NanoGPT Speedrunning”的思路，即在限定时间内达到目标性能。OpenAI 在此基础上进一步聚焦于参数限制，以推动在新型架构、压缩方法和训练推理策略上的创新。
为降低参与门槛，官方将排行榜的提交限制在 8 张 H100 GPU 和 10 分钟训练时间内。对于超出此算力限制的方案，也鼓励提交至非记录板块进行探索。此外，OpenAI 提供了总额 100 万美元的算力支持，以帮助参与者启动训练。
挑战于 3 月 18 日开始，持续至 4 月 30 日。
如何参与？
参与者需 Fork 项目提供的 GitHub 仓库，其中包含基线模型、固定数据集和评测脚本。在满足模型大小与算力限制的前提下进行改进后，提交一个包含代码、日志、成绩及简短说明的 PR。审核通过后，结果将被合并，排行榜自动更新。参与者还可申请有限的免费算力额度。
常见问题解答：
* 参与资格：原则上面向年满 18 岁且位于支持地区的个人。OpenAI 员工可参与但无法获得算力奖励。
* 产物大小计算：16MB（16,000,000 字节）上限包含代码体积与压缩后的模型体积。所有代码需置于 train_gpt.py 中，产物须完全自包含，评测时不允许任何外部网络请求。
* 评测限制：评测阶段本身也需在 8 张 H100 GPU 上于 10 分钟内完成（此时间在训练时间之外）。评测流程设计相对自由，允许在任意序列长度上进行。
* 算力与提交：可多次申请算力额度（但资源有限，不保证获批），也可多次提交参赛作品。但提交仅限个人，不接受团队形式。
业界看法：
对于此项挑战，业界观点呈现分歧。有观点认为这是在资源受限环境下识别优秀工程师的有效方式。也有人担忧其他公司可能效仿其形式却无实质激励。此外，讨论还延伸至一个有趣的方向：模型设计与优化本是 AI 擅长的领域，此事是否应交由 AI Agent 自动完成？有研究者表示，理论上可以组建“AI Agent 集群”参与此类竞赛。
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/archives/26442
