斯坦福最新Sophia优化器比Adam快2倍

斯坦福大学最近发布了一篇研究论文,提出了一种名为Sophia的新型优化器,用于提高大型语言模型(LLM)的预训练效率。与目前广泛使用的Adam优化器相比,Sophia优化器在预训练GPT-2等模型时可以将训练时间减少约50%。这意味着在相同的预算下,Sophia优化器可以实现更好的预训练损失。该优化器利用轻量级二阶方法,通过对Hessian矩阵对角线的廉价随机估计来作为预调节器,并通过限幅机制来控制最坏情况下的更新大小。

关键概念

  • Sophia优化器是一种新型优化器,用于提高大型语言模型的预训练效率。与Adam优化器相比,Sophia可以在相同的预训练损失下将训练时间减少约50%。
  • Sophia是一种轻量级二阶优化器,利用Hessian矩阵对角线的廉价随机估计作为预调节器,并通过限幅机制来控制最坏情况下的更新大小。
  • 随着模型尺寸的增加,Sophia相对于Adam的优势变得越来越明显。在相同步数下,Sophia的验证损失优于Adam和Lion。
  • Sophia优化器可以无缝集成到现有的训练流程中,无需对模型架构或计算基础设施进行特殊修改。

实验结果

实验结果表明,Sophia优化器在预训练大型语言模型时表现优于Adam和Lion优化器。在相同的步数下,使用Sophia预训练的模型在多数任务上优于使用Adam和Lion预训练的模型。此外,使用Sophia预训练100K步的模型与使用Adam预训练200K步的模型具有相当的性能。这意味着Sophia优化器可以在更短的时间内实现相同或更好的预训练损失。

0 0 投票数
Article Rating
订阅评论
提醒
0 评论
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x