Clarke, C. , Heng, Y., Tang, L., & Mars, J. (2023). PEFT-U: Parameter-Efficient Fine-Tuning for User Personalization. arXiv preprint arXiv:2407.18078.✅
Touvron, H. , Martin, L., Stone, K., Albert, P., Almahairi, A., Babaei, Y., … & Scialom, T. (2023). Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288.✅
Salemi, A. , Mysore, S., Bendersky, M., & Zamani, H. (2023). LAMP: When Large Language Models Meet Personalization. arXiv preprint arXiv:2304.11406.✅
Welch, C. , Gu, C., Kummerfeld, J. K., Perez-Rosas, V., & Mihalcea, R. (2022). Leveraging similar users for personalized language modeling with limited data. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 1742-1752).✅
Houlsby, N. , Giurgiu, A., Jastrzebski, S., Morrone, B., De Laroussilhe, Q., Gesmundo, A., … & Gelly, S. (2019). Parameter-efficient transfer learning for NLP. In International Conference on Machine Learning (pp. 2790-2799). PMLR.✅
大规模语言模型(LLMs)的崛起为人机交互开辟了新纪元。以ChatGPT为代表的先进LLMs展现出令人惊叹的语言理解能力。然而,随着这些模型规模的指数级增长,一个关键维度仍未得到充分研究 – 即模型的个性化。本文将深入探讨这一重要议题,并介绍一种创新的评估基准PEFT-U,为语言模型的个性化研究提供了新的视角和工具。
LLMs的”一刀切”困境
目前主流的大型基础模型如GPT-3等,主要聚焦于创建可服务于广泛任务和用户的通用模型。这种方法强调模型的泛化能力,将用户视为一个整体而非独特的个体。虽然这种做法在许多常见应用中很实用,但往往无法满足人类丰富多样的个性化需求。
正如密歇根大学计算机科学与工程系的Christopher Clarke等研究者指出:”在许多现实场景中,用户有独特的偏好、背景和期望,而当前通用的LLMs无法有效满足这些需求。”这些传统LLMs主要遵循”一刀切”的方法,提供单一、统一的模型来服务所有用户和任务。虽然这种方法在许多情况下无疑很有价值,但在适应人类丰富多样性方面存在不足,因为人们并不统一,他们的语言和交流偏好差异很大。
PEFT-U基准:评估个性化能力的新工具
为了探索这一问题,研究团队引入了PEFT-U基准:一个用于构建和评估面向用户个性化的NLP模型的新数据集。PEFT-U由一系列以用户为中心的任务组成,包含多样化和个性化的表达,其中用户对相同输入的偏好可能会有所不同。
PEFT-U基准的主要特点包括:
研究者表示:”通过PEFT-U,我们探索了在各种以用户为中心的任务中,如何高效地个性化LLMs以适应用户特定偏好的挑战。”
个性化方法的实证分析
研究团队实施并实证分析了一系列个性化提示方法(非参数)与高效调优和划分用户级知识(参数)的策略,用于个性化任务。他们的研究结果表明,个性化模型对于为用户提供更准确、更能代表其实际观点的结果至关重要。
具体而言,研究者评估了7种不同的参数高效方法,用于个性化Flan-T5模型:
实验结果显示,个性化微调方法在准确性方面明显优于传统的少样本提示技术。其中,Adapters方法在13个PEFT-U任务中的12个上表现最佳,总体准确率达到64.4%,相比之下LoRa位居第二,准确率为59.5%。
研究者强调:”这些结果凸显了PEFT-U基准的复杂性,揭示了在不同任务和数据集上始终保持高性能的内在挑战。”
个性化的必要性与挑战
PEFT-U基准的研究结果清晰地表明,个性化模型对于为用户提供更准确、更能代表其实际观点的结果至关重要。值得注意的是,零样本/少样本提示在充分代表用户观点方面远远落后于经过训练的对应模型。
然而,研究也揭示了个性化方法之间性能的显著差异,以及在某些数据集(如Subjective Discourse和MeasuringHateSpeech)上的表现,表明该基准提出了多方面的挑战。用户个性化、模型规模和参数调优的细微差别显著影响这些方法的有效性。
研究者指出:”方法之间观察到的性能多样性表明,没有放之四海而皆准的解决方案,需要进一步深入研究。”
结语:个性化LLMs的未来
PEFT-U基准的引入为NLP中关于LLMs个性化的关键研究领域提供了重要工具。虽然LLMs在各种任务中都取得了显著的性能,但它们的泛化能力主要遵循”一刀切”的范式。这种方法虽然在许多常见应用中很实用,但往往无法满足个体用户丰富多样的语言和交流偏好。
PEFT-U基准通过强调相同输入需要根据不同用户生成不同输出的场景,为评估LLMs的个性化能力提供了独特的挑战。研究结果不仅展示了PEFT-U基准所呈现的内在挑战,也为继续探索有效的个性化策略提供了有力支持。
随着AI技术的不断进步,个性化语言模型无疑将成为未来研究的重要方向。通过深入理解和满足用户的个性化需求,我们有望开发出更智能、更人性化的AI系统,为人机交互带来革命性的变革。
参考文献