个性化联邦学习的新突破：DA-PFL 算法 2024-06-07 作者 C3P00 个性化联邦学习（PFL）是近年来人工智能领域的一大热门话题，它能够在保护用户隐私的前提下，为每个用户学习个性化的模型。现有的大多数 PFL 模型都倾向于将数据分布相似的用户聚合在一起，以提升模型性能。然而，这种基于相似性的聚合策略可能会加剧类不平衡问题，导致模型对某些类别样本的预测效果不佳。 为了解决这个问题，来自哈尔滨工业大学（深圳）的研究团队提出了一种全新的个性化联邦学习模型——DA-PFL，它利用动态亲和聚合策略来缓解类不平衡问题。 DA-PFL 的核心思想：互补性而非相似性 DA-PFL 的核心思想是，将用户数据分布的互补性作为聚合策略的依据，而不是仅仅考虑相似性。换句话说，DA-PFL 倾向于将数据分布互补的用户聚合在一起，以平衡不同类别样本的数量，从而降低类不平衡的风险。 为了实现这一目标，研究团队提出了一种新的亲和度指标，它能够有效地反映用户之间类分布的互补关系。这个指标综合考虑了用户数据中各个类别的样本数量和类别索引号，并通过一个扩展的调整后的余弦相似度来计算。 动态亲和聚合：灵活选择和聚合 DA-PFL 采用了一种动态亲和聚合策略，根据每轮的亲和度指标，动态地选择和聚合用户模型。这种动态的策略能够在每一轮训练中，根据用户模型参数和亲和度指标，为每个用户生成一个独特的基于亲和力的聚合模型。 具体来说，DA-PFL 使用一个负指数项来衡量不同用户模型参数之间的非线性差异，并通过亲和度指标进行加权，从而使每个用户的聚合模型更加关注具有互补数据分布的用户模型。 实验结果：显著提升模型性能 研究团队在三个真实世界的数据集（CIFAR10、CIFAR100 和 FEMNIST）上对 DA-PFL 进行了评估，并将其与九种最先进的个性化联邦学习方法进行了比较。实验结果表明，DA-PFL 在不同客户端数量和不同不平衡分布下都取得了最佳的性能，显著提升了每个用户的模型精度。 例如，在 CIFAR100 数据集上，当客户端数量为 20 且类分布高度不平衡时，DA-PFL 的精度比最佳的比较方法 FedProx 高出 16.44%。在 FEMNIST 数据集上，DA-PFL 的精度比最佳的比较方法 IFCA 高出 15.37%。 此外，研究团队还对 DA-PFL 的各个组件进行了消融实验，结果表明，亲和度指标和动态聚合策略都对模型性能的提升起着至关重要的作用。 DA-PFL 的优势： 有效缓解类不平衡问题： 通过将互补性作为聚合策略的依据，DA-PFL 能够有效地平衡不同类别样本的数量，从而降低类不平衡的风险。 提升模型性能： 实验结果表明，DA-PFL 能够显著提升每个用户的模型精度，在多个真实世界数据集上都取得了最佳的性能。 快速收敛： DA-PFL 能够比其他方法更快地收敛，并使用更少的通信轮数来达到目标精度。 总结 DA-PFL 算法为个性化联邦学习提供了一种新的解决方案，它能够有效地缓解类不平衡问题，并显著提升模型性能。这项研究为未来个性化联邦学习的研究提供了新的思路和方向。 参考文献 [1] Xu Yang, Jiyuan Feng, Songyue Guo, Ye Wang, Ye Ding, Binxing Fang, and Qing Liao. DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning. arXiv preprint arXiv:2403.09284, 2024.
个性化联邦学习（PFL）是近年来人工智能领域的一大热门话题，它能够在保护用户隐私的前提下，为每个用户学习个性化的模型。现有的大多数 PFL 模型都倾向于将数据分布相似的用户聚合在一起，以提升模型性能。然而，这种基于相似性的聚合策略可能会加剧类不平衡问题，导致模型对某些类别样本的预测效果不佳。
为了解决这个问题，来自哈尔滨工业大学（深圳）的研究团队提出了一种全新的个性化联邦学习模型——DA-PFL，它利用动态亲和聚合策略来缓解类不平衡问题。
DA-PFL 的核心思想：互补性而非相似性
DA-PFL 的核心思想是，将用户数据分布的互补性作为聚合策略的依据，而不是仅仅考虑相似性。换句话说，DA-PFL 倾向于将数据分布互补的用户聚合在一起，以平衡不同类别样本的数量，从而降低类不平衡的风险。
为了实现这一目标，研究团队提出了一种新的亲和度指标，它能够有效地反映用户之间类分布的互补关系。这个指标综合考虑了用户数据中各个类别的样本数量和类别索引号，并通过一个扩展的调整后的余弦相似度来计算。
动态亲和聚合：灵活选择和聚合
DA-PFL 采用了一种动态亲和聚合策略，根据每轮的亲和度指标，动态地选择和聚合用户模型。这种动态的策略能够在每一轮训练中，根据用户模型参数和亲和度指标，为每个用户生成一个独特的基于亲和力的聚合模型。
具体来说，DA-PFL 使用一个负指数项来衡量不同用户模型参数之间的非线性差异，并通过亲和度指标进行加权，从而使每个用户的聚合模型更加关注具有互补数据分布的用户模型。
实验结果：显著提升模型性能
研究团队在三个真实世界的数据集（CIFAR10、CIFAR100 和 FEMNIST）上对 DA-PFL 进行了评估，并将其与九种最先进的个性化联邦学习方法进行了比较。实验结果表明，DA-PFL 在不同客户端数量和不同不平衡分布下都取得了最佳的性能，显著提升了每个用户的模型精度。
例如，在 CIFAR100 数据集上，当客户端数量为 20 且类分布高度不平衡时，DA-PFL 的精度比最佳的比较方法 FedProx 高出 16.44%。在 FEMNIST 数据集上，DA-PFL 的精度比最佳的比较方法 IFCA 高出 15.37%。
此外，研究团队还对 DA-PFL 的各个组件进行了消融实验，结果表明，亲和度指标和动态聚合策略都对模型性能的提升起着至关重要的作用。
DA-PFL 的优势：
总结
DA-PFL 算法为个性化联邦学习提供了一种新的解决方案，它能够有效地缓解类不平衡问题，并显著提升模型性能。这项研究为未来个性化联邦学习的研究提供了新的思路和方向。
参考文献
[1] Xu Yang, Jiyuan Feng, Songyue Guo, Ye Wang, Ye Ding, Binxing Fang, and Qing Liao. DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning. arXiv preprint arXiv:2403.09284, 2024.