斯坦福大学最近发布了一篇研究论文,提出了一种名为Sophia的新型优化器,用于提高大型语言模型(LLM)的预训练效率。与目前广泛使用的Adam优化器相比,Sophia优化器在预训练GPT-2等模型时可以将训练时间减少约50%。这意味着在相同的预算下,Sophia优化器可以实现更好的预训练损失。该优化器利用轻量级二阶方法,通过对Hessian矩阵对角线的廉价随机估计来作为预调节器,并通过限幅机制来控制最坏情况下的更新大小。
关键概念
- Sophia优化器是一种新型优化器,用于提高大型语言模型的预训练效率。与Adam优化器相比,Sophia可以在相同的预训练损失下将训练时间减少约50%。
- Sophia是一种轻量级二阶优化器,利用Hessian矩阵对角线的廉价随机估计作为预调节器,并通过限幅机制来控制最坏情况下的更新大小。
- 随着模型尺寸的增加,Sophia相对于Adam的优势变得越来越明显。在相同步数下,Sophia的验证损失优于Adam和Lion。
- Sophia优化器可以无缝集成到现有的训练流程中,无需对模型架构或计算基础设施进行特殊修改。
实验结果
实验结果表明,Sophia优化器在预训练大型语言模型时表现优于Adam和Lion优化器。在相同的步数下,使用Sophia预训练的模型在多数任务上优于使用Adam和Lion预训练的模型。此外,使用Sophia预训练100K步的模型与使用Adam预训练200K步的模型具有相当的性能。这意味着Sophia优化器可以在更短的时间内实现相同或更好的预训练损失。