提示工程指南
面向需求工程中的大型语言模型应用
本研究探讨了现有提示工程指南在需求工程（RE）中的适用性，通过系统性文献综述与专家访谈，识别当前实践的优势与局限，并提出针对该领域的映射框架。
主要发现
- 识别出9大主题下的36条提示工程指南
- RE领域专用指南存在显著空白
- 提出RE活动与提示策略的映射框架
研究影响
该研究为在需求工程中有效利用大型语言模型提供了基础框架，弥合了通用提示工程与特定领域需求之间的差距。
引言
背景：大型语言模型及其在需求工程中的潜力
以大型语言模型（LLMs）为代表的生成式人工智能（AI）模型的出现，标志着包括需求工程（RE）在内的多个技术领域的重大变革 [1], [2]。这些模型在需求分类、优先级排序、追踪、歧义检测和建模等一系列RE活动中展现出巨大潜力。
关键洞见：
在工业实践中，自然语言被广泛用于起草需求，这自然促进了NLP方法在RE领域的应用。然而，基于自然语言生成（NLG）的方法在支持RE活动方面尚存空白 [2]。
像LLMs这样的预训练生成式AI模型的出现，为绕过海量标注数据的需求、提升RE中的NLG能力提供了有前景的解决方案 [2]。例如，GPT-3.5 LLM在包括RE相关任务在内的特定技术任务中展现出了惊人的熟练度。
已识别的提示工程指南
系统性文献综述从纳入分析的28项主要研究中，共识别并提取出36条不同的提示工程指南 [54]。这些指南被分为九大主题，以便更好地理解和应用。
基于上下文的指南
强调在提示中提供上下文信息，以引导LLM响应的策略。
基于角色的指南
引导LLM在生成响应时采纳特定视角或角色的策略。
基于模板的指南
为提示提供显式结构或框架，通常称为模板。
消歧性指南
解决歧义、寻求澄清或确保清晰理解用户意图的策略。
推理类指南
旨在影响或增强LLM推理能力的策略，如“思维链”。
分析类指南
涉及检查、评估或分析提供给LLM的信息的策略。
基于关键词的指南
在提示中使用单词修饰符或特定关键词来影响LLM行为。
措辞与表达指南
与特定词语选择、文本格式和写作风格相关的策略。
少样本提示指南
专为少样本提示设计的策略，即在提示中附带少量输入-输出示例。
在需求工程中的适用性
专家洞见
优势
- • 通过上下文提示进行创造性探索
- • 使用模板系统化需求获取
- • 通过定向提示评估需求质量
- • 通过多视角分析发现歧义
- • 基于用户需求进行需求验证
局限与挑战
- • “上下文”含义模糊不清
- • LLM生成的需求可能并非实际所需
- • 输出结果不可靠且难以信赖
- • 推理能力有限且不一致
- • 需要深入的系统描述
针对需求工程活动的具体洞见
需求获取
优势：上下文提示有助于创造性探索；模板有助于系统化信息收集。
局限：上下文含义模糊；生成的需求可能不切实际或不被需要。
需求分析
优势：通过直接提问评估质量属性；辅助架构生成。
局限：输出结果不可靠；推理能力有限；难以支持复杂分析。
需求规格说明
优势：迭代探索歧义；识别规格说明中的薄弱环节；支持评审流程。
局限：歧义检测的实用性取决于具体情境。
需求验证
优势：针对特定用户需求进行验证；模拟用户视角。
局限：需要详细的系统描述和用户画像。
拟议的提示工程指南与RE活动映射框架
将通用指南针对RE任务进行情境化
核心洞见：
将通用提示工程指南与RE任务进行情境化，对其有效应用至关重要。通用指南中的“上下文”往往过于宽泛，必须针对具体RE活动进行分解和明确定义。
例如，在需求获取中，上下文可包括详细用户画像、业务目标和既有系统约束。对于需求验证，上下文则可能涉及系统架构图和用例场景。
识别RE专用提示策略
组合指南
将不同指南类型结合，以实现协同效应。
示例：结合基于角色和消歧性指南，从多利益相关者视角探索需求。
迭代求精
将初始LLM输出作为后续更精细提示的输入。
示例：生成候选需求，然后通过后续提示检查其一致性、完整性和清晰度。
RE专用模板
为通用RE任务开发模板。
示例：用户故事、用例、验收标准的模板。
多视角分析
利用角色引导，从不同利益相关者角度分析需求。
示例：以管理员、最终用户、开发人员等不同角色查看需求。
讨论
应对RE专用提示工程指南的短缺
本研究发现，专门针对需求工程的提示工程指南存在显著短缺 [1], [2]。通用原则的直接应用常因RE任务的独特性而力有不逮。
解决方案方向：
- 为通用RE任务开发精选提示库
- 创建RE专用提示模式
- 发布真实案例研究
- 制定LLM可靠性及偏见应对指南
对从业者与研究人员的影响
对从业者
- 提供更高效利用LLM的起点
- 强调关键评估与人工监督的必要性
- 支持在复杂分析任务中审慎应用
对研究人员
- 亟需实证研究评估不同策略
- 开发自动化提示工程工具的机会
- 需要研究伦理影响与偏见缓解
未来研究方向
实证验证
通过对照实验和案例研究，评估情境化指南在实际RE场景中的有效性。
高级RE专用技术
开发超越通用指南简单适配的复杂提示技术。
协同RE流程
研究LLM如何支持分布式团队的需求获取与管理。
偏见评估与缓解
研究如何在LLM生成的需求中评估和减轻偏见。
专用工具开发
创建支持RE专用提示工程的开发环境（IDE）与工具。
结论
研究发现总结
本研究强调了大型语言模型在需求工程中的变革潜力，同时也揭示了提示工程在有效利用这一潜力中的关键作用 [67]。
核心贡献：
系统性文献综述证实，专门针对领域活动（尤其是RE领域）的提示工程指南存在明显短缺。本研究通过将通用提示工程指南与具体RE情境进行映射，为解决这一空白迈出了重要一步。
研究发现，尽管LLM具备强大能力，但其在RE中的成功与可靠应用，离不开有效、情境感知的提示方法的开发与采纳。
对RE和提示工程领域的贡献
本研究的主要贡献在于，为解决RE应用LLM时领域专用指导匮乏的问题，进行了系统性探索 [67]。通过文献综述与专家评估相结合，为未来研究与实务提供了基础框架。
对RE领域的贡献
- • 通用指南与RE活动映射框架
- • 专家对适用性的评估
- • 局限性与挑战识别
- • RE专用策略建议
对提示工程领域的贡献
- • 凸显领域专用适配的必要性
- • 强调“一刀切”方法的局限性
- • 指明未来研究方向
- • 提供领域情境化实例