📜 引言:AI写作助手的崛起
在当今的数字时代,生成性人工智能的快速发展催生了各种新型写作助手。这些系统通常依赖于多语言大型语言模型(LLMs),使全球化的工作者能够在不同语言中修订或创作多样的内容。然而,研究表明,多语言LLMs在不同语言中的表现差异显著,用户在使用这些写作助手时,可能会受到输出质量不均的影响。尤其是,最近的研究发现,人们倾向于将算法错误推广到独立任务中,这违反了选择独立性的行为公理。
本文旨在探讨用户在使用多语言LLMs进行慈善广告写作任务时,是否会受到AI在第二语言表现的影响。我们量化了这些模式对生成的慈善广告说服力的影响,以及人们对LLM使用的信念如何影响他们的捐赠选择。我们的研究结果表明,使用LLM的写作者在选择独立性上存在明显的偏差,尤其是在接触到西班牙语LLM后,随后的英语LLM使用显著减少。
🌍 多语言LLMs的挑战与机遇
1. 多语言LLMs的表现差异
尽管大型语言模型在多种任务中展现了强大的多语言能力,但其在不同语言之间的表现差异依然显著。以英语为基准的LLMs通常在流畅性、连贯性和上下文适应性方面表现优异,而低资源语言(如西班牙语)则常常面临诸多挑战。这种性能差异不仅影响了用户的使用体验,还可能导致用户在不同语言之间的行为模式发生变化。
例如,一位双语记者在使用LLM助手撰写英文和西班牙文新闻时,可能会发现西班牙语的输出质量较低,导致他们在后续的英文写作中对LLM的依赖性降低。这种现象反映了人们在面对不同语言的LLM时,往往会将先前的体验推广到后续的任务中,进而影响他们的决策。
2. 选择独立性的行为公理
选择独立性是期望效用理论的一个基本公理,意味着用户在评估不同选择时,应独立于其他选择的表现。然而,研究表明,用户在使用LLMs时,往往会将某一语言的表现影响到另一语言的使用上。这种现象在我们的实验中得到了验证:当参与者首先接触到西班牙语LLM时,他们在随后的英语写作中对LLM的使用显著减少。
📝 实验设计:说服性写作任务
1. 实验概述
我们的研究包含两个实验,旨在探讨多语言LLMs在慈善广告写作中的应用。参与者被要求为世界自然基金会(WWF)撰写广告,分别使用英语和西班牙语,并评估这些广告的说服力。我们通过改变语言的呈现顺序,观察不同语言表现对LLM使用的影响。
2. 实验流程
在实验中,参与者首先接受了LLM助手的使用培训,然后被要求撰写至少70个单词的广告。根据参与者的语言顺序,分别记录他们在使用LLM助手时的行为和对广告的说服力评估。实验结束后,参与者填写问卷,评估他们对LLM的看法和广告的来源认知。
3. 结果分析
实验结果显示,参与者在接触低资源语言(西班牙语)后,随后的英语广告撰写中对LLM的使用显著减少。这一发现表明,用户在多语言环境中并未独立评估LLM的表现,而是受到先前体验的影响。此外,尽管广告的整体说服力在不同条件下保持稳定,但参与者对广告来源的信念(人类或AI生成)显著影响了他们的捐赠行为。
💡 讨论与启示
1. 对多语言LLMs设计的启示
我们的研究结果对多语言LLMs的设计和部署具有重要的启示。首先,开发者在推出多语言系统时,应重视不同语言之间的性能差异,以避免用户因不均衡的体验而降低对LLM的依赖性。其次,企业在使用多语言LLMs时,需考虑用户的行为模式和心理预期,以优化工具的使用效果。
2. 对社会公平的影响
此外,我们的研究也揭示了多语言LLMs在社会公平方面的潜在影响。由于高资源语言通常与国家的经济地位正相关,低资源语言用户可能面临更大的技术使用障碍,从而加剧全球范围内的数字鸿沟。因此,政策制定者和企业应关注如何通过教育和技术支持,提升低资源语言用户的AI使用能力。
📚 结论
本文探讨了多语言LLMs在说服性写作中的选择独立性问题,揭示了用户在不同语言间的行为模式及其对捐赠行为的影响。我们的研究强调了在设计和部署多语言AI助手时,需重视用户体验和行为模式的复杂性,以促进更有效的跨语言协作。
📖 参考文献
- Biswas, S. , Erlei, A., & Gadiraju, U. (2025). Mind the Gap! Choice Independence in Using Multilingual LLMs for Persuasive Co-Writing Tasks in Different Languages. In CHI Conference on Human Factors in Computing Systems (CHI ’25), Yokohama, Japan.✅
- Ahuja, A. , et al. (2023). Multilingual LLMs: Performance and Challenges.✅
- Conde, J. et al. (2022). Understanding the Limitations of Open-Source LLMs in Low-Resource Languages.✅
- Wymer, W. & Gross, M. (2021). The Role of Framing in Charitable Advertising.✅
- Lim, J. , & Schmälzle, R. (2022). Human Perceptions of AI-Generated Content: A Review.✅