在人工智能快速发展的今天，大型语言模型(LLMs)为软件开发带来了前所未有的机遇。然而，这种新技术也给开发者带来了新的挑战。近日，来自汉堡大学的研究团队发表了一项引人深思的研究，探讨了开发者能否有效地使用LLMs生成高质量的代码文档。这项研究不仅揭示了当前开发者在使用AI工具方面的困境，也为未来AI辅助软件开发指明了方向。
代码文档：被忽视却至关重要的任务
软件开发中，代码文档常常被开发者忽视或置于低优先级。然而，高质量的文档对于程序理解、开发者入职和技术债务管理至关重要。汉堡大学的Hans-Alexander Kruse、Tim Puhlfurß和Walid Maalej教授在他们的研究中指出："精心编写的文档能够促进程序理解，加速开发者入职，并减轻技术债务。"
随着软件规模和复杂度的不断增加，手动维护文档变得愈发困难。这就是为什么研究人员和工具供应商一直在探索自动化文档生成的方法。在这个背景下，大型语言模型凭借其强大的自然语言处理能力，为代码文档自动化提供了新的可能性。
实验设计：模拟真实开发场景
为了探究开发者如何有效使用LLMs生成代码文档，研究团队设计了一个精巧的实验。他们招募了20名专业开发者和30名计算机科学学生，让他们使用基于GPT-4的Visual Studio Code扩展来为两个Python函数生成文档。
实验分为两组：一组使用允许自由输入提示的扩展（即席提示组），另一组使用执行预定义few-shot提示的扩展（预定义提示组）。研究者通过这种设计，希望回答两个关键问题：
- 开发者能否有效地提示LLMs生成简洁且有用的文档？
- 开发者更喜欢灵活的即席提示还是执行预定义提示？
实验过程模拟了真实的开发场景。参与者首先需要理解给定的代码，然后使用AI工具生成文档，最后评估生成的文档质量。研究者还收集了参与者的即席提示，以便与预定义提示进行比较。
令人深思的实验结果
实验结果揭示了一些令人深思的现象：
- 经验差异显著影响效果：研究发现，经验较少的开发者（尤其是学生）在使用即席提示时，生成的文档质量明显低于使用预定义提示的情况。学生们感觉即席提示生成的文档在可读性、简洁性和有用性方面都不如预定义提示。
- 关键词的魔力：一些专业开发者发现，仅仅通过在即席提示中包含"Docstring"这样的关键词，就能显著提高生成文档的质量。这表明，即使是简单的提示技巧也能大幅改善AI输出。
- 迭代是关键：参与者普遍认为AI生成的文档并非完美，而是将其视为迭代改进的起点。这一发现突显了人机协作在代码文档生成中的重要性。
- 用户体验的差异：通过用户体验问卷（UEQ）评估，研究者发现预定义提示工具在多个维度上获得了更高的用户满意度评分。这表明，虽然灵活性很重要，但结构化的工具可能更容易被开发者接受和使用。
深层次的启示
这项研究不仅揭示了当前开发者使用AI工具的现状，还带来了一些深层次的启示：
- 提示工程技能的重要性：研究表明，大多数开发者缺乏有效的提示工程技能。这凸显了在软件工程教育中纳入AI交互技能培训的必要性。
- 个性化与标准化的平衡：虽然预定义提示在整体上表现更好，但一些专业开发者更喜欢即席提示的灵活性。这提示我们需要在个性化和标准化之间寻找平衡。
- 人机协作的新模式：研究结果表明，AI工具应被视为协作伙伴而非替代品。开发者需要学会如何与AI系统进行有效的迭代和反馈。
- 评估标准的重新思考：传统的文档质量评估标准可能不再适用于AI生成的内容。研究者呼吁开发更加以人为中心的质量指标。
未来的研究方向
这项研究为未来的AI辅助软件开发指明了几个关键方向：
- 提升提示技能：研究如何有效地培训开发者使用AI工具，包括创建有效的提示和理解模型的响应。
- 迭代式文档生成：探索支持多轮交互和用户反馈的工具和流程设计。
- 个性化与定制化：研究如何根据开发者的个人偏好和项目需求定制AI工具。
- 安全性与隐私：在使用AI工具时，如何保护敏感的代码和项目信息。
- 长期影响研究：探讨长期使用AI工具对开发者工作流程、代码质量和项目维护性的影响。
结语
汉堡大学的这项研究为我们提供了宝贵的洞察：虽然大型语言模型在代码文档生成方面展现出巨大潜力，但开发者仍需要时间和培训来充分利用这些工具。正如研究者所言："未来的挑战在于理解开发者的提示技能和偏好，以及他们在特定任务中需要什么样的支持。"
在AI迅速改变软件开发格局的今天，这项研究无疑为我们指明了前进的方向。它不仅揭示了当前的挑战，也为未来的研究和实践提供了宝贵的思路。随着技术的不断进步，我们有理由相信，AI辅助的代码文档生成将成为提高软件质量和开发效率的强大工具。
（参考文献：Kruse, H. A., Puhlfurß, T., & Maalej, W. (2024). Can Developers Prompt? A Controlled Experiment for Code Documentation Generation. arXiv preprint arXiv:2408.00686.）