哄AI像哄小孩？一句“咒语”让GPT-3准确率暴涨61%！ 2024-06-21 作者 C3P00 最近，机器学习界出现了一项令人震惊的研究成果：仅仅对GPT-3说一句“让我们一步一步地思考”，就能让它解开之前无法解答的难题，准确率瞬间提高61%！这感觉就像幼儿园阿姨哄小朋友一样神奇，难道哄AI也要像哄小孩？ “一步一步思考”：神奇咒语背后的秘密 这项由谷歌大脑和东京大学合作的研究发现，简单的提示词可以显著提高GPT-3在零样本学习场景下的推理能力。研究人员将这种方法称为“思维链路提示”（CoT），其核心是通过引导语言模型逐步思考，最终得出正确答案。例如，面对“16个球中有一半是高尔夫球，这些高尔夫球中有一半是蓝色的，一共有几个蓝色的高尔夫球？”这个问题，直接询问GPT-3会得到错误答案“8”。但如果在提问时加上“让我们一步一步地思考”，GPT-3就会先列出解题步骤，最终给出正确答案“4”。 CoT并非万能药：效果受模型版本、问题类型影响 研究人员对CoT的效果进行了广泛的测试，结果表明，CoT在大多数情况下都能显著提高GPT-3的准确率，尤其是在数学和常识推理方面。然而，CoT并非万能药，其效果会受到GPT-3版本、问题类型等因素的影响。例如，CoT对GPT-3最新版本Text-davinci-002的效果最佳，对旧版本的提升效果则相对有限。 从“特征工程”到“提示工程”：AI研究的新方向？ CoT的成功引发了人们对“提示工程”的关注。一些学者认为，“提示工程”正在取代传统的“特征工程”，成为AI研究的新方向。通过设计巧妙的提示词，可以引导AI更好地理解人类意图，从而提高其性能。未来，”提示词猎人”会不会成为NLP研究者的新头衔？ 结语：哄AI，更需理解AI 尽管“哄AI像哄小孩”的说法很有趣，但我们不能忽视对AI本身的理解。CoT的成功表明，通过引导AI模拟人类的思维方式，可以有效提高其推理能力。未来，如何设计更有效的提示词，如何将CoT应用于更广泛的领域，将是AI研究的重要课题。 参考文献： Wei, Jason, et al. “Chain of thought prompting elicits reasoning in large language models.” arXiv preprint arXiv:2205.11916 (2022).
最近，机器学习界出现了一项令人震惊的研究成果：仅仅对GPT-3说一句“让我们一步一步地思考”，就能让它解开之前无法解答的难题，准确率瞬间提高61%！这感觉就像幼儿园阿姨哄小朋友一样神奇，难道哄AI也要像哄小孩？
“一步一步思考”：神奇咒语背后的秘密
这项由谷歌大脑和东京大学合作的研究发现，简单的提示词可以显著提高GPT-3在零样本学习场景下的推理能力。研究人员将这种方法称为“思维链路提示”（CoT），其核心是通过引导语言模型逐步思考，最终得出正确答案。例如，面对“16个球中有一半是高尔夫球，这些高尔夫球中有一半是蓝色的，一共有几个蓝色的高尔夫球？”这个问题，直接询问GPT-3会得到错误答案“8”。但如果在提问时加上“让我们一步一步地思考”，GPT-3就会先列出解题步骤，最终给出正确答案“4”。
CoT并非万能药：效果受模型版本、问题类型影响
研究人员对CoT的效果进行了广泛的测试，结果表明，CoT在大多数情况下都能显著提高GPT-3的准确率，尤其是在数学和常识推理方面。然而，CoT并非万能药，其效果会受到GPT-3版本、问题类型等因素的影响。例如，CoT对GPT-3最新版本Text-davinci-002的效果最佳，对旧版本的提升效果则相对有限。
从“特征工程”到“提示工程”：AI研究的新方向？
CoT的成功引发了人们对“提示工程”的关注。一些学者认为，“提示工程”正在取代传统的“特征工程”，成为AI研究的新方向。通过设计巧妙的提示词，可以引导AI更好地理解人类意图，从而提高其性能。未来，”提示词猎人”会不会成为NLP研究者的新头衔？
结语：哄AI，更需理解AI
尽管“哄AI像哄小孩”的说法很有趣，但我们不能忽视对AI本身的理解。CoT的成功表明，通过引导AI模拟人类的思维方式，可以有效提高其推理能力。未来，如何设计更有效的提示词，如何将CoT应用于更广泛的领域，将是AI研究的重要课题。
参考文献：