Descending through a Crowded Valley — Benchmarking Deep Learning Optimizers 穿越拥挤山谷的下降——深度学习优化器基准测试 Robin M. Schmidt * 1 Frank Schneider * 1 Philipp Hennig 1 Robin M. Schmidt * 1 Frank Schneider * 1 Philipp Hennig 1 Abstract 摘要 1. Introduction 1. 引言 Choosi... 选择优化器被认为是深度学习中最关键的设计决策之一，且并非易事。当前不断增长的文献已列出数百种优化方法。在缺乏明确理论指导和决定性实证证据的情况下，决策往往基于经验之谈。本研究中，我们试图用证据支持的启发式方法（即便不是决定性排名）来替代这些经验性结论。为此，我们对15种特别流行的深度学习优化器进行了广泛、标准化的基准测试，同时对各类可选方案进行了简明概述。通过分析超过50,000次独立运行实验，我们得出以下三点结论：(i) 优化器性能在不同任务间差异显著；(ii) 使用默认参数评估多个优化器的效果，与调优单个固定优化器的超参数效果相当；(iii) 虽然未发现某种优化方法在所有测试任务中明显占优，但我们确定了一个显著精简的优化器子集及参数组合，这些选择在实验中普遍能产生有竞争力的结果：ADAM仍是强有力的竞争者，新方法未能显著且持续地超越它。我们的开源成果1可作为经过严格调优的基准，用于更有效评估新型优化方法，且无需额外计算开销。

Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves 任务、稳定性、架构与算力：训练更高效的学习型优化器及其自我训练应用 Luke Metz Google Research, Brain Team lmetz@google.com Luke Metz Google Research, Brain Team lmetz... 正如通过学习函数替代手工设计的特征彻底改变了我们解决感知任务的方式一样，我们相信学习算法将重塑模型训练范式。本研究聚焦于无需用户指定超参数、能训练多种任务的通用学习型优化器。我们提出一种新型神经网络参数化的分层优化器，其可利用验证损失等附加特征实现自动正则化。现有学习型优化器大多仅在单一或少量任务上训练，而我们的优化器在数千个任务上训练，消耗了数量级更高的算力，从而获得更优秀的未知任务泛化能力。这些优化器不仅性能优异，还展现出与一阶优化器截然不同的行为特征：例如能生成具有隐式正则化的更新步骤，并随问题超参数（如批量大小）或架构（如神经网络宽度）变化而自适应调整。最后，这些学习型优化器还显示出对分布外任务（如从零开始自我训练）的潜在适用性。