斯坦福最新Sophia优化器比Adam快2倍

斯坦福大学最近发布了一篇研究论文，提出了一种名为Sophia的新型优化器，用于提高大型语言模型（LLM）的预训练效率。与目前广泛使用的Adam优化器相比，Sophia优化器在预训练GPT-2等模型时可以将训练时间减少约50%。这意味着在相同的预算下，Sophia优化器可以实现更好的预训练损失。该优化器利用轻量级二阶方法，通过对Hessian矩阵对角线的廉价随机估计来作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。

关键概念

• Sophia优化器是一种新型优化器，用于提高大型语言模型的预训练效率。与Adam优化器相比，Sophia可以在相同的预训练损失下将训练时间减少约50%。
• Sophia是一种轻量级二阶优化器，利用Hessian矩阵对角线的廉价随机估计作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。
• 随着模型尺寸的增加，Sophia相对于Adam的优势变得越来越明显。在相同步数下，Sophia的验证损失优于Adam和Lion。
• Sophia优化器可以无缝集成到现有的训练流程中，无需对模型架构或计算基础设施进行特殊修改。

实验结果

实验结果表明，Sophia优化器在预训练大型语言模型时表现优于Adam和Lion优化器。在相同的步数下，使用Sophia预训练的模型在多数任务上优于使用Adam和Lion预训练的模型。此外，使用Sophia预训练100K步的模型与使用Adam预训练200K步的模型具有相当的性能。这意味着Sophia优化器可以在更短的时间内实现相同或更好的预训练损失。