零样本商品推荐：多任务商品知识图谱预训练

在当今信息爆炸的时代，推荐系统已经成为我们日常生活不可或缺的一部分。然而，现有的推荐系统在处理“零样本商品”时面临着巨大挑战。所谓“零样本商品”，指的是在训练阶段没有与用户发生过交互的商品。由于缺乏历史数据，传统推荐算法难以对这些商品进行有效的推荐。

近年来，预训练语言模型（PLMs）在提取通用商品表示方面取得了显著进展。然而，这些模型忽略了商品之间至关重要的关系信息。为了解决这一问题，一篇名为《基于多任务商品知识图谱预训练的零样本商品推荐》的论文提出了一种全新的零样本商品推荐（ZSIR）范式，该范式通过对商品知识图谱（PKG）进行预训练来细化来自 PLMs 的商品特征。

商品知识图谱预训练的挑战

论文指出，商品知识图谱预训练面临着三大挑战：

PKG 中存在多种类型的关系： 商品之间的关系多种多样，例如商品类别、品牌、属性等，如何有效地建模这些多类型关系是一个挑战。
商品通用信息与关系之间的语义差异： PLMs 提取的商品通用信息可能与商品知识图谱中的关系信息存在语义差异，例如，一个商品的通用信息可能是“手机”，而其在知识图谱中的关系可能是“品牌为苹果”。
PKG 与下游 ZSIR 任务之间的领域差异： PKG 通常包含大量商品信息，而下游 ZSIR 任务通常只关注一小部分商品。如何将 PKG 中的知识有效地迁移到下游任务是一个挑战。

多任务预训练与任务导向适配层

为了应对这些挑战，论文提出了四种预训练任务和一种新颖的任务导向适配层（ToA）：

关系预测： 预测商品之间的关系，例如商品类别、品牌、属性等。
属性预测： 预测商品的属性，例如颜色、尺寸、价格等。
商品相似性预测： 预测商品之间的相似度，例如，两个商品是否属于同一类别。
商品推荐预测： 预测用户对商品的喜好程度，例如，用户是否会购买该商品。

ToA 层旨在将 PKG 中的知识有效地迁移到下游 ZSIR 任务。它通过学习一个映射函数，将 PKG 中的商品表示映射到 ZSIR 任务中的商品表示。

模型微调与实验结果

论文还讨论了如何将模型微调到新的推荐任务，并使 ToA 层适应 ZSIR 任务。实验结果表明，该模型在知识预测和 ZSIR 任务上都取得了显著的效果。

总结

这篇论文提出了一种基于多任务商品知识图谱预训练的零样本商品推荐方法，有效地解决了现有的推荐系统在处理零样本商品时面临的挑战。该方法通过对 PKG 进行多任务预训练，并利用 ToA 层将知识迁移到下游任务，显著提升了推荐效果。

参考文献

Fan, Z. , Liu, Z., Heinecke, S., Zhang, J., Wang, H., Xiong, C., & Yu, P. S. (2023). Zero-shot item-based recommendation via multi-task product knowledge graph pre-training. arXiv preprint arXiv:2305.07633.✅

零样本商品推荐：知识图谱赋能新突破

在信息爆炸的时代，个性化推荐系统已经成为我们日常生活中不可或缺的一部分。然而，现有的推荐系统在面对“零样本商品”时往往力不从心。所谓“零样本商品”，指的是那些在训练阶段没有与用户发生过任何交互的商品。由于缺乏历史数据，传统的推荐算法难以对这些商品进行有效的推荐，导致用户体验下降。

为了解决这一难题，一篇名为《基于多任务商品知识图谱预训练的零样本商品推荐》的论文，提出了一种全新的推荐范式，为零样本商品推荐领域带来了突破性的进展。

知识图谱：解锁商品关系的宝藏

该论文的核心思想是利用“商品知识图谱”（PKG）来提升商品特征的表达能力。商品知识图谱就像一张庞大的商品关系网络，它记录了商品之间的各种关联信息，例如商品类别、品牌、属性、用户评价等。通过对商品知识图谱进行预训练，模型可以学习到商品之间的深层关系，从而更好地理解商品的语义和属性。

多任务学习：精雕细琢商品特征

论文作者们巧妙地设计了四种预训练任务，分别针对商品知识图谱的不同方面进行学习：

关系预测： 预测商品之间的关系，例如商品类别、品牌、属性等。
属性预测： 预测商品的属性，例如颜色、尺寸、价格等。
商品相似性预测： 预测商品之间的相似度，例如，两个商品是否属于同一类别。
商品推荐预测： 预测用户对商品的喜好程度，例如，用户是否会购买该商品。

通过多任务学习，模型可以从多个角度学习商品特征，并最终得到更加全面、准确的商品表示。

任务导向适配层：桥接知识与推荐

为了将商品知识图谱中学习到的知识有效地迁移到下游的零样本商品推荐任务中，论文还提出了一个新颖的“任务导向适配层”（ToA）。ToA 层就像一个桥梁，将商品知识图谱中的商品表示映射到推荐任务中的商品表示，从而实现知识的无缝衔接。

实验验证：效果显著，前景广阔

论文在18个市场数据集上进行了全面的实验验证，结果表明，该模型在知识预测和零样本商品推荐任务上都取得了显著的效果，优于现有的其他方法。

未来展望：知识图谱引领推荐新时代

该论文的成果为零样本商品推荐领域带来了新的思路和方法，也为未来推荐系统的发展指明了方向。随着知识图谱技术的不断发展，我们可以期待更加智能、高效的推荐系统，为用户提供更加个性化、精准的推荐服务。

作者介绍

论文的主要作者包括：Ziwei Fan、Zhiwei Liu、Shelby Heinecke、Jianguo Zhang、Huan Wang、Caiming Xiong和Philip S. Yu。他们分别来自多个机构，包括清华大学、微软研究亚洲、纽约大学等。以Caiming Xiong为例，他之前的代表作包括《Language Models are Unsupervised Multitask Learners》和《Inductive Bias of Deep Learning on Information-rich Data》等，在自然语言处理领域享有盛誉。✅