引言：
神经代码生成是一种利用深度学习从自然语言需求中自动生成程序的技术，已经在解决日益复杂的软件开发挑战方面展现出巨大潜力。大型语言模型（LLMs），如 GPT4，在代码生成任务中取得了令人瞩目的成果。然而，由于其庞大的参数规模和相关计算成本，它们的实际应用往往具有局限性。为了克服这些限制，研究人员开始探索将链式思维（CoT）推理技术与轻量级语言模型（ℓLMs）相结合，以提高其性能。本研究旨在利用ℓLMs 的潜力，通过自动生成高质量的 CoTs 来提升代码生成的效果。
轻量级语言模型的重要性：
LLMs 凭借其庞大的参数规模在代码生成方面表现出色。然而，由于部署所带来的时间、计算和财务成本等挑战，它们的实际应用受到限制，无法满足个人用户和资源有限的场景的需求。为了解决这些挑战，开发基于轻量级语言模型的技术至关重要。在本研究中，我们旨在通过链式思维推理技术探索ℓLMs 在软件工程应用中的潜力，以提高其性能，使其更加高效和易用。
链式思维推理用于代码生成：
链式思维推理涉及将复杂任务分解为一系列中间的自然语言推理步骤。通过为 LLMs 提供这些中间步骤，它们可以生成更可靠和可解释的答案。链式思维推理技术已经在逻辑推理任务中取得了成功，通过将任务分解为多个独立的步骤，LLMs 能够更好地理解和解决问题。受到这一成功的启发，研究人员开始探索将链式思维推理技术应用于代码生成任务。例如，自我规划方法和结构化链式思维技术被提出来增强模型的理解和问题解决能力。
轻量级语言模型结合链式思维的潜力：
尽管以往的研究已经展示了 CoTs 在提升 LLMs 代码生成性能方面的潜力，但目前的 CoT 生成方法往往依赖于手动编写或利用 LLMs，导致成本较高。在本研究中，我们致力于回答两个主要问题：ℓLMs 能否独立生成高质量的 CoTs 以指导代码生成？ℓLMs 能否从其他地方生成的 CoTs 中获益？为了回答这些问题，我们对各种ℓLMs 和 LLMs 进行了 CoT 生成能力的实证研究。研究结果表明，大多数参数规模在 0.3 到 70 亿之间的ℓLMs 无法独立生成高质量的 CoTs。然而，我们也观察到，当提供其他地方生成的 CoTs 时，所有ℓLMs 的性能都有所提升。
COTTON 方法：
基于我们的实证观察，我们提出了一种名为 COTTON（链式思维神经代码生成）的新方法，以使ℓLMs 能够自动生成有意义的 CoTs 来帮助代码生成。COTTON 利用ℓLMs 的能力和高质量 CoTs 中包含的知识来提高性能。我们构建了新的数据集，并在各种基准测试中进行了大量实验，以评估 COTTON 的有效性。结果表明，COTTON 生成的 CoTs 在自动化和人工评估指标上优于基准线。值得注意的是，使用不同的ℓLMs 生成的 CoTs 所实现的性能提升与 ChatGLM（130B）和 gpt-3.5-turbo（175B）等规模更大的 LLMs 相当。
结论：
总之，本研究探讨了将链式思维推理技术应用于轻量级语言模型（ℓLMs）以进行代码生成的方法。我们证明了大多数ℓLMs 无法独立生成高质量的 CoTs，但它们可以从其他地方生成的 CoTs 中获益。所提出的 COTTON 方法有效利用ℓLMs 自动生成有意义的 CoTs，从而在代码生成任务中提高性能。本研究突显了ℓLMs 在软件工程应用中的潜力，并为提升轻量级语言模型在代码生成方面的能力提供了启示。
《Chain-of-Thought in Neural Code Generation: From and For Lightweight Language Models》