大家好,今天,我将为大家介绍一篇关于Orca 2的文章。Orca 2是一种小型语言模型,它通过学习一系列推理技巧,在推理能力上超越了5-10倍的大模型。
背景
大型语言模型(LLMs)正在改变人与机器之间的交互方式,并提升了许多现有应用的用户体验,如编码、网络搜索、聊天机器人、客户服务和内容创作等。这种由LLMs带来的转变也为新型人工智能应用铺平了道路。随着LLMs规模的不断扩大,例如GPT-4和PaLM-2等,它们展现出了前所未有的能力,尤其是在零-shot推理方面,包括回答复杂问题、生成解释和解决多步问题。即使在专业领域,LLMs现在也能在美国医学执照考试等测试中取得合格分数。这些能力曾经被认为是人工智能无法达到的范畴。
问题
然而,现有对于小型语言模型的训练往往依赖于模仿学习,即复制更大、更强大的模型的输出。尽管这些模型可以生成与其“老师”风格相似的内容,但它们在推理和理解能力上往往表现不足。模仿学习可能会限制较小模型的潜力,限制它们根据问题和模型容量来利用最佳解决策略。
主要贡献及解决思路
Orca 2的目标有两个:
一是教导较小模型如何使用一系列推理技巧,例如逐步处理、回忆再生成、回忆-推理-生成、抽取-生成和直接回答方法;
二是帮助这些模型确定何时使用最有效的推理策略,让它们能够在任务中表现最佳,不受模型大小的限制。
与Orca 1不同,Orca 2精心设计推理策略以适应特定任务,考虑到学生模型是否具备相同的行为。更强大的LLM被设计为呈现引发特定战略行为的复杂提示,从而产生更精确的结果。在训练阶段,较小模型仅暴露于任务和结果行为,而不知道触发这种行为的原始提示,这种“提示擦除”技术使Orca 2成为一种“谨慎的推理者”。
达到的具体效果
与以往侧重于小型模型评估的研究不同,作者们提供了包含约100个任务和超过36,000个独特提示的15个综合性基准测试来评估Orca 2。初步结果显示(figure 1),Orca 2明显超越了相似规模的模型,甚至在需要推理的任务上与5到10倍大的模型相匹敌甚至超越,突显了赋予较小模型更好推理能力的潜力。
文章推荐
文章名称:Orca 2-Teaching Small Language Models How to Reason
文章链接:https://arxiv.org/pdf/2311.11045.pdf
github链接:
结语
以上就是我对Orca 2这篇文章的解读。希望对大家有所帮助。