用梯度优化训练配置，自动找到最佳学习率和数据集。
Optimizing ML Training with Metagradient Descent
- 通过元梯度技术高效计算训练过程的梯度。
- 在数据筛选上超越现有方法，抗数据污染攻击能力提升十倍。
- 适合需要自动化调参的机器学习研发人员。
大规模机器学习模型训练的一大挑战是配置训练流程以最大化模型性能，即从庞大的设计空间中找到最优训练设置。本文提出一种基于梯度的方法解决此问题。首先，我们开发了一种可扩展的算法，用于高效计算元梯度——即通过模型训练过程的梯度。随后，引入“平滑模型训练”框架，实现基于元梯度的有效优化。采用元梯度下降（MGD）后，我们在数据集选择上表现显著优于现有方法，对导致准确率下降的数据投毒攻击的防御能力提升一个数量级，并能自动发现具有竞争力的学习率调度方案。
原文摘要 · Abstract (English)
A major challenge in training large-scale machine learning models is configuring the training process to maximize model performance, i.e., finding the best training setup from a vast design space. In this work, we unlock a gradient-based approach to this problem. We first introduce an algorithm for efficiently calculating metagradients -- gradients through model training -- at scale. We then introduce a "smooth model training" framework that enables effective optimization using metagradients. With metagradient descent (MGD), we greatly improve on existing dataset selection methods, outperform accuracy-degrading data poisoning attacks by an order of magnitude, and automatically find competitive learning rate schedules.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。