LLM推理的本质是在得出最终答案之前生成一系列中间token。这种方法的关键在于，Transformer模型通过生成大量中间token，可以变得极其强大，而无需扩展模型的大小。

预训练模型即使未经任何微调，也具备推理能力。挑战在于，基于推理的输出往往不会出现在输出分布的顶部，因此标准贪婪解码无法将它们呈现出来。

• alt_route
  链式推理解码： 超越贪婪解码，检查更多生成候选，选择最终答案置信度更高的候选。包含两个步骤：检查更多生成候选，选择最终答案置信度更高的候选。
• format_list_numbered
  链式思维提示： 通过自然语言提示指导模型进行链式推理，如”让我们一步步思考”。这种方法使推理过程自然地出现在输出空间中，而不需要复杂的计算步骤。
• tune
  监督微调(SFT)： 收集问题及人工标注的解决方法，最大化人类解决方案的可能性。虽然通用，但泛化能力有限。
• autorenew
  自我提升方法： 让模型生成数据，通过Reject Sampling选择正确的步骤。这种方法可以减少昂贵的人工标注成本，实现模型的自我改进。
• rocket_launch
  强化学习微调(RL finetuning)： 当前最强大的方法，通过生成多个响应并聚合结果，极大提高LLM推理能力。在RL微调中，可靠的验证器是最关键的，而非RL算法。

• split_screen
  Prefill-Decode分离式架构： 将Prefill和Decode阶段拆分到不同GPU实例上独立运行。Prefill Instance专注于Prefill阶段的计算，Decode Instance专注于Decode阶段的生成任务。当Prefill Instance完成KV Cache的计算后，会将其传输给Decode Instance，后者接续生成结果。这种架构独立优化了两个阶段的性能，解决了资源争抢问题。
• verified
  GenRM技术： Google DeepMind提出的生成式验证器，使用下一个token预测目标来训练验证器，同时进行验证和解决方案生成。相比传统验证器，GenRM具有无缝集成指令调整、支持思维链推理、通过多数投票利用额外推理时间计算等优势，在算法和小学数学推理任务中性能提升16-64%。

直接优化我们想要的东西是机器学习中的第一性原理。随着COT(Chain of Thought)的增长，模型可以解决更多问题，而不需要增加模型尺寸。

通过随机抽样生成多个响应，然后选择出现频率最高的答案（边缘化），可以带来巨大的改进。此外，使用多个不同模型并行运行，对比答案，挑选最一致的结果，也是一种有效的策略。