标签： AI

近年来，联邦推荐（FR）作为一种新兴的设备端学习范式，在学术界和工业界都引起了广泛关注。现有的联邦推荐方法通常采用不同的协同过滤模型作为本地模型，并通过各种聚合函数来获得一个全局推荐器，遵循基本的联邦学习（FL）原则。例如，一项开创性的工作是 FCF，它通过执行本地更新和使用联邦优化进行全局聚合，对集中式矩阵分解进行了改进。此外，FedNCF 将矩阵分解的线性与深度嵌入技术的非线性相结合，建立在 FCF 的基础之上。这些基于嵌入的联邦推荐模型有效地平衡了推荐准确性和隐私保护。

然而，现有的联邦推荐方法主要利用联邦视觉领域中发明的聚合函数来聚合来自相似客户端的参数，例如聚类聚合。尽管这些方法取得了相当大的性能，但我们认为直接将它们应用于联邦推荐并非最佳选择。这主要体现在模型结构的差异上。与联邦视觉中的卷积神经网络等结构化参数不同，联邦推荐模型通常采用一对一的项目嵌入表来进行区分。这种差异导致了嵌入偏差问题，即在聚合过程中不断更新已训练的嵌入，而忽略了未训练的嵌入，从而无法准确预测未来的项目。

为了解决这个问题，我们提出了一种基于复合聚合的个性化联邦推荐模型（FedCA），它不仅聚合了相似客户端以增强已训练的嵌入，还聚合了互补客户端以更新未训练的嵌入。此外，我们将整个学习过程转化为一个统一的优化算法，以共同学习相似性和互补性。在多个真实数据集上的大量实验证明了我们提出的模型的有效性。

嵌入偏差问题：联邦推荐的独特挑战

联邦推荐模型通常使用一个嵌入表来存储所有项目的表示，每个客户端只训练与自己交互过的项目的嵌入。当使用传统的相似性聚合方法时，会发生嵌入偏差问题：已训练过的项目的嵌入会不断得到优化，而未训练过的项目的嵌入则保持不变甚至退化。这导致模型在预测用户未来可能感兴趣的项目时，由于缺乏对未训练项目信息的了解，效果不佳。

FedCA：基于复合聚合的个性化联邦推荐

为了解决嵌入偏差问题，我们提出了 FedCA 模型，它采用了一种复合聚合机制，同时考虑了模型相似性和数据互补性。

• 模型相似性: FedCA 聚合来自相似客户端的模型，以增强已训练的项目的嵌入。
• 数据互补性: FedCA 聚合来自互补客户端的模型，以更新未训练的项目的嵌入。

FedCA 使用一个统一的优化框架来共同学习相似性和互补性。通过这种方式，FedCA 能够更有效地聚合项目嵌入，从而提高模型的预测准确性和泛化能力。

实验结果

我们对四个基准数据集进行了实验，包括 Movielens-100K. ��Filmtrust、Movielens-1M 和 Microlens-100K。实验结果表明，FedCA 在所有数据集上都优于其他基线模型，包括 FCF、FedAvg、PerFedRec、FedAtt、FedFast、pFedGraph 和 PFedRec。此外，我们还进行了消融实验，验证了模型相似性和数据互补性在 FedCA 中的有效性。✅

总结

本文首先重新思考了联邦视觉和联邦推荐任务之间的根本差异。具体来说，联邦视觉领域主要利用结构化参数（例如卷积神经网络）进行联邦优化，而联邦推荐任务主要采用一对一的项目嵌入表进行个性化推荐。这种关键差异导致了从联邦视觉领域借鉴的基于相似性的聚合方法在聚合嵌入表时无效，从而导致嵌入偏差问题。为了解决上述挑战，我们提出了一种专门针对联邦推荐任务的复合聚合机制。具体来说，通过在一个统一的优化框架内结合模型相似性和数据互补性，我们的方法增强了客户端已交互过的项目的训练嵌入，并优化了客户端未交互过的项目的非训练嵌入。这使得能够有效地预测未来的项目。此外，我们还探讨了近端项在联邦推荐任务中对个性化偏好的无效性，并提出了一种插值方法来缓解联邦推荐中的空间错位问题。

这项研究特别提出了一种很有前景的联邦推荐任务复合聚合框架。它是一个与模型无关的即插即用模块，可以无缝集成到主流联邦推荐模型中。然而，在这项工作中，我们需要手动调整相似性和互补性的权重分配。这些局限性可以通过在未来的研究中使用自动机器学习技术来自适应地学习权重分配来缓解。此外，探索更适合联邦推荐任务的模型相似性和数据互补性机制也是一个很有前景的研究方向。

参考文献

[1] Hongzhi Yin, Liang Qu, Tong Chen, Wei Yuan, Ruiqi Zheng, Jing Long, Xin Xia, Yuhui Shi, and Chengqi Zhang. On-device recommender systems: A comprehensive survey. arXiv preprint arXiv:2401.11441, 2024.

[2] Karan Singhal, Hakim Sidahmed, Zachary Garrett, Shanshan Wu, John Rush, and Sushant Prakash. Federated reconstruction: Partially local federated learning. In NeurIPS, pages 11220–11232, 2021.

[3] Canh T Dinh, Nguyen Tran, and Josh Nguyen. Personalized federated learning with moreau envelopes. In NeurIPS, pages 21394–21405, 2020.

[4] Muhammad Ammad-Ud-Din, Elena Ivannikova, Suleiman A Khan, Were Oyomno, Qiang Fu, Kuan Eeik Tan, and Adrian Flanagan. Federated collaborative filtering for privacy-preserving personalized recommendation system. arXiv preprint arXiv:1901.09888, 2019.

[5] Honglei Zhang, Fangyuan Luo, Jun Wu, Xiangnan He, and Yidong Li. LightFR: Lightweight federated recommendation with privacy-preserving matrix factorization. ACM Trans. Inf. Syst., 41(4):1–28, 2023.

[6] Lin Ning, Karan Singhal, Ellie X Zhou, and Sushant Prakash. Learning federated representations and recommendations with limited negatives. arXiv preprint arXiv:2108.07931, 2021.

[7] Andrew Hard, Kanishka Rao, Rajiv Mathews, Swaroop Ramaswamy, Françoise Beaufays, Sean Augenstein, Hubert Eichner, Chloé Kiddon, and Daniel Ramage. Federated learning for mobile keyboard prediction. arXiv preprint arXiv:1811.03604, 2018.

[8] Yehuda Koren, Robert Bell, and Chris Volinsky. Matrix factorization techniques for recommender systems. Computer, 42(8):30–37, 2009.

[9] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, and Tat-Seng Chua. Neural collaborative filtering. In The Web Conference, pages 173–182, 2017.

[10] Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, and Blaise Aguera y Arcas. Communication-efficient learning of deep networks from decentralized data. In AISTAT, pages 1273–1282, 2017.

[11] Khalil Muhammad, Qinqin Wang, Diarmuid O’Reilly-Morgan, Elias Tragos, Barry Smyth, Neil Hurley, James Geraci, and Aonghus Lawlor. Fedfast: Going beyond average for faster training of federated recommender systems. In SIGKDD, pages 1234–1242, 2020.

[12] Vasileios Perifanis and Pavlos S Efraimidis. Federated neural collaborative filtering. Knowl.-Based Syst., 242:1–16, 2022.

[13] Zhiwei Li, Guodong Long, and Tianyi Zhou. Federated recommendation with additive personalization. In ICLR, 2024.

[14] Wei Yuan, Liang Qu, Lizhen Cui, Yongxin Tong, Xiaofang Zhou, and Hongzhi Yin. Hetefedrec: Federated recommender systems with model heterogeneity. In ICDE, 2024.

[15] Bingyan Liu, Yao Guo, and Xiangqun Chen. Pfa: Privacy-preserving federated adaptation for effective model personalization. In The Web Conference, pages 923–934, 2021.

[16] Shaoxiong Ji, Shirui Pan, Guodong Long, Xue Li, Jing Jiang, and Zi Huang. Learning private neural language modeling with attentive aggregation. In IJCNN, pages 1–8, 2019.

[17] Avishek Ghosh, Jichan Chung, Dong Yin, and Kannan Ramchandran. An efficient framework for clustered federated learning. In NeurIPS, pages 19586–19597, 2020.

[18] Sichun Luo, Yuanzhang Xiao, and Linqi Song. Personalized federated recommendation via joint representation learning, user clustering, and model adaptation. In CIKM, pages 4289–4293, 2022.

[19] Xin Xia, Hongzhi Yin, Junliang Yu, Qinyong Wang, Guandong Xu, and Quoc Viet Hung Nguyen. On-device next-item recommendation with self-supervised knowledge distillation. In SIGIR, pages 546–555, 2022.

[20] Chunxu Zhang, Guodong Long, Tianyi Zhou, Peng Yan, Zijian Zhang, Chengqi Zhang, and Bo Yang. Dual personalization on federated recommendation. In IJCAI, 2024.

[21] Jinze Wu, Qi Liu, Zhenya Huang, Yuting Ning, Hao Wang, Enhong Chen, Jinfeng Yi, and Bowen Zhou. Hierarchical personalized federated learning for user modeling. In The Web Conference, pages 957–968, 2021.

[22] Tian Li, Anit Kumar Sahu, Manzil Zaheer, Maziar Sanjabi, Ameet Talwalkar, and Virginia Smith. Federated optimization in heterogeneous networks. In MLSys, pages 429–450, 2020.

[23] Liam Collins, Hamed Hassani, Aryan Mokhtari, and Sanjay Shakkottai. Exploiting shared representations for personalized federated learning. In ICML, pages 2089–2099, 2021.

[24] Filip Hanzely, Slavomír Hanzely, Samuel Horváth, and Peter Richtárik. Lower bounds and optimal algorithms for personalized federated learning. In NeurIPS, pages 2304–2315, 2020.

[25] Xinrui He, Shuo Liu, Jacky Keung, and Jingrui He. Co-clustering for federated recommender system. In The Web Conference, pages 3821–3832, 2024.

[26] Rui Ye, Zhenyang Ni, Fangzhao Wu, Siheng Chen, and Yanfeng Wang. Personalized federated learning with inferred collaboration graphs. In ICML, pages 39801–39817, 2023.

[27] Guibing Guo, Jie Zhang, and Neil Yorke-Smith. A novel bayesian similarity measure for recommender systems. In IJCAI, pages 2619–2625, 2013.

[28] F Maxwell Harper and Joseph A Konstan. The movielens datasets: History and context. ACM Trans. Interact. Intell. Syst., 5(4):1–19, 2015.

[29] Ellango Jothimurugesan, Kevin Hsieh, Jianyu Wang, Gauri Joshi, and Phillip B Gibbons. Federated learning under distributed concept drift. In IJCAI, pages 5834–5853, 2023.

[30] Alexander Kraskov, Harald Stögbauer, and Peter Grassberger. Estimating mutual information. Phys. Rev. E, 69(6):1–16, 2004.

[31] Steven Diamond and Stephen Boyd. Cvxpy: A python-embedded modeling language for convex optimization. J. Mach. Learn. Res., 17(83):1–5, 2016.✅

[32] Lorenzo Minto, Moritz Haller, Benjamin Livshits, and Hamed Haddadi. Stronger privacy for federated collaborative filtering with implicit feedback. In RecSys, pages 342–350, 2021.

[33] Badih Ghazi, Noah Golowich, Ravi Kumar, Pasin Manurangsi, and Chiyuan Zhang. Deep learning with label differential privacy. In NeurIPS, pages 27131–27145, 2021.

[34] Elan Rosenfeld, Ezra Winston, Pradeep Ravikumar, and Zico Kolter. Certified robustness to label-flipping attacks via randomized smoothing. In ICML, pages 8230–8241, 2020.

[35] Yongxin Ni, Yu Cheng, Xiangyan Liu, Junchen Fu, Youhua Li, Xiangnan He, Yongfeng Zhang, and Fajie Yuan. A content-driven micro-video recommendation dataset at scale. arXiv preprint arXiv:2309.15379, 2023.

[36] Andriy Mnih and Russ R Salakhutdinov. Probabilistic matrix factorization. NeurIPS, 2007.

[37] Christos Boutsidis, Anastasios Zouzias, and Petros Drineas. Random projections for k-means clustering. NeurIPS, 2010.

[38] David Goldberg, David Nichols, Brian M Oki, and Douglas Terry. Using collaborative filtering to weave an information tapestry. Commun. ACM, 35(12):61–70, 1992.

[39] Matthias Feurer, Aaron Klein, Katharina Eggensperger, Jost Springenberg, Manuel Blum, and Frank Hutter. Efficient and robust automated machine learning. In NeurIPS, 2015.

你是否还在为如何将训练好的深度学习模型部署到生产环境而烦恼？传统的部署方式往往需要复杂的配置和维护，而且难以扩展。现在，DJL Serving 为你提供了一个简单、高效、可扩展的解决方案！

DJL Serving 是一个基于 DJL 的高性能通用模型服务解决方案，它可以将你的深度学习模型轻松部署为 HTTP 服务，方便其他应用程序调用。

DJL Serving 的优势

• 通用性： 支持多种深度学习框架，包括 PyTorch、TensorFlow、MXNet、ONNX、TensorRT 等等。
• 高性能： 利用多线程推理，在单一 JVM 中实现高吞吐量，性能优于市场上的大多数 C++ 模型服务器。
• 易用性： 开箱即用，无需复杂的配置。
• 可扩展性： 支持插件机制，方便扩展功能。
• 自动伸缩： 根据负载自动调整工作线程数量，保证服务稳定性。
• 动态批处理： 支持动态批处理，提高吞吐量。
• 模型版本控制： 支持加载不同版本的模型，方便迭代更新。
• 多引擎支持： 支持同时服务来自不同引擎的模型。

安装 DJL Serving

你可以通过以下方式安装 DJL Serving：

• macOS： 使用 Homebrew 安装：

brew install djl-serving

• Ubuntu： 使用 dpkg 安装：

curl -O https://publish.djl.ai/djl-serving/djl-serving_0.27.0-1_all.deb
sudo dpkg -i djl-serving_0.27.0-1_all.deb

• Windows： 下载 zip 文件并解压：

curl -O https://publish.djl.ai/djl-serving/serving-0.27.0.zip
unzip serving-0.27.0.zip

• Docker： 使用 Docker 镜像运行：

docker run -itd -p 8080:8080 deepjavalibrary/djl-serving

使用 DJL Serving

DJL Serving 可以通过命令行启动，并提供 RESTful API 用于模型推理和管理。

启动 DJL Serving：

djl-serving --help

REST API：

• 推理 API： 用于客户端调用模型进行推理。
• 管理 API： 用于添加、删除和扩展模型。

默认情况下，DJL Serving 监听端口 8080，仅允许本地访问。你可以修改配置文件以允许远程访问。

扩展 DJL Serving

DJL Serving 支持插件机制，你可以开发自己的插件来扩展功能。

总结

DJL Serving 是一个强大的模型服务解决方案，它能够帮助你轻松部署和管理深度学习模型，并提供高性能和可扩展性。无论你是初学者还是经验丰富的开发者，DJL Serving 都能满足你的需求。

更多信息：

• DJL Serving Github
• DJL Serving 文档

---

DJL Serving 架构揭秘：模型服务背后的秘密

DJL Serving 是一款功能强大的模型服务解决方案，它将你的深度学习模型转化为可供其他应用程序访问的 HTTP 服务。但你是否好奇它背后的运作机制？本文将带你深入了解 DJL Serving 的架构，揭开模型服务背后的秘密。

四层架构：协同运作，高效服务

DJL Serving 的架构可以大致分为四层：

1. 前端 (Frontend)： 负责接收和管理来自客户端的请求。它使用 Netty 框架构建，并包含多个 HTTP 请求处理器，分别处理推理 API、管理 API 以及其他插件提供的 API。
2. 工作流 (Workflows)： 用于组合多个模型和代码片段，形成执行计划。它通过 workflow.json 文件定义，描述了模型的调用顺序和数据流向。
3. 工作负载管理器 (WorkLoadManager，WLM)： 负责管理工作线程，支持批处理和请求路由。它可以独立使用，并提供工作线程扩展功能。
4. 模型管理器 (ModelManager)： 负责加载和管理模型，根据配置在启动时加载指定模型。

各层职责：紧密合作，高效执行

• 前端： 接收来自客户端的请求，并根据请求类型选择相应的处理器。例如，推理 API 请求会传递给 WorkLoadManager，管理 API 请求则会传递给 ModelManager。
• 工作流： 定义模型的执行顺序和数据流向，并协调各个模型的调用。它可以包含多个模型，并通过代码片段连接它们，形成完整的推理流程。
• 工作负载管理器： 管理工作线程，将请求分配给不同的工作线程进行处理。它支持动态批处理，根据负载自动调整工作线程数量，并提供模型版本控制功能。
• 模型管理器： 负责加载和管理模型，根据配置在启动时加载指定模型，并提供模型版本控制功能。

深入 WLM：高效管理工作线程

WLM 是 DJL Serving 的核心组件，它负责管理工作线程，并确保模型推理的高效执行。

• 工作线程池： WLM 为每个模型创建独立的工作线程池，每个线程池包含多个工作组。
• 工作组： 每个工作组对应一个特定的设备，例如 CPU 或 GPU。同一个模型可以在不同的设备上创建多个工作组，以充分利用硬件资源。
• 工作线程： 每个工作组包含多个工作线程，每个线程负责执行模型推理任务。
• 自动伸缩： WLM 支持自动伸缩功能，根据负载动态调整工作线程数量，保证服务稳定性。
• 模型预测器： 每个工作线程包含一个 DJL 模型预测器，它负责执行模型推理。预测器支持多种模型引擎，例如 PyTorch、TensorFlow、XGBoost 等。

Python 引擎：灵活扩展，无缝集成

DJL Serving 还支持 Python 引擎，允许你使用 Python 代码编写模型预处理、后处理逻辑，甚至直接调用 Python 模型。

• 独立进程： 每个工作线程拥有独立的 Python 进程，确保代码执行的隔离性。
• 灵活调用： 通过 Python 预测器 (PyPredictor) 可以方便地调用 Python 进程，执行预处理、后处理或模型推理。

总结：高效、灵活、可扩展

DJL Serving 的架构设计体现了高效、灵活、可扩展的原则，它能够满足各种深度学习模型部署需求，并提供强大的性能和可靠性。

更多信息：

• DJL Serving Github
• DJL Serving 文档

希望本文能够帮助你更好地理解 DJL Serving 的架构，并为你的模型部署提供参考。

深度学习模型大多用Python开发，而服务端却多用Java，导致许多开发者不得不使用Java调用Python接口，效率低下且不够优雅。更糟糕的是，如果想在Android上进行推理，就必须使用Java。

别担心！现在，我们可以用Java直接进行深度学习了！DJL（Deep Java Library）是一个强大的开源深度学习框架，它支持模型构建、训练、推理，甚至在Android上运行。本文将带你深入了解DJL，并通过一个实战案例，教你用Java加载PyTorch模型进行图片分类。

DJL：Java深度学习的利器

DJL 的出现，为Java开发者打开了深度学习的大门。它提供了一套简洁易用的API，让Java开发者能够轻松地构建、训练和部署深度学习模型。

DJL 的优势：

• Java 开发： 使用熟悉的 Java 语言进行深度学习开发，无需学习其他语言。
• 跨平台支持： 支持 Windows、Linux、macOS 和 Android 等多种平台。
• GPU 加速： 支持 GPU 加速，提升模型训练和推理速度。
• 模型兼容性： 支持多种深度学习框架，包括 PyTorch、TensorFlow 和 MXNet。

DJL 核心 API 解密

DJL 的核心 API 包括 Criteria、Translator 和 NDArray，它们共同构成了深度学习模型的构建和操作基础。

1. Criteria：模型的定义

Criteria 类对象定义了模型的属性，例如模型路径、输入和输出类型等。

Criteria<Input, Output> criteria = Criteria.builder()
        .setTypes(Input.class, Output.class) // 定义输入和输出数据类型
        .optTranslator(new InputOutputTranslator()) // 设置输入输出转换器
        .optModelPath(Paths.get("/var/models/my_resnet50")) // 指定模型路径
        .optModelName("model/resnet50") // 指定模型文件前缀
        .build();

ZooModel<Image, Classifications> model = criteria.loadModel();

这段代码定义了一个名为 “resnet50” 的模型，并加载了它。

2. Translator：数据转换桥梁

Translator 接口定义了如何将自定义的输入输出类转换为 Tensor 类型。

private Translator<Input, Output> translator = new Translator<Input, Output>() {

    @Override
    public NDList processInput(TranslatorContext ctx, Input input) throws Exception {
        return null;
    }

    @Override
    public Output processOutput(TranslatorContext ctx, NDList ndList) throws Exception {
        return null;
    }
};

Translator 接口包含两个方法：

• processInput： 将输入类对象转换为 Tensor。
• processOutput： 将模型输出的 Tensor 转换为自定义类。

3. NDArray：Tensor 操作的利器

NDArray 类类似于 Python 中的 NumPy 数组，它提供了丰富的 Tensor 操作功能。

NDManager ndManager = NDManager.newBaseManager(); // 创建 NDManager 对象
NDArray ndArray = ndManager.create(new Shape(1, 2, 3, 4)); // 创建一个 Shape 为 (1, 2, 3, 4) 的 Tensor

DJL 提供了多种 NDArray 操作，例如：

• 创建 NDArray
• 变更数据类型
• 运算（加减乘除）
• 切片
• 赋值
• 翻转

实战：用 DJL 加载 PyTorch 模型进行图片分类

下面，我们将使用 PyTorch 提供的 ResNet18 模型进行图片分类。

步骤：

1. 引入依赖： 在项目的 pom.xml 文件中添加 DJL 的依赖。
2. 导出 PyTorch 模型： 使用 Python 将 ResNet18 模型保存为 TorchScript 模型。
3. 创建 Translator： 定义输入为图片路径，输出为类别。
4. 定义 Criteria： 定义模型路径、输入输出类型和 Translator。
5. 实例化模型： 使用 Criteria 加载模型。
6. 创建 Predictor： 使用模型创建 Predictor 对象。
7. 进行预测： 使用 Predictor 对图片进行分类。

代码示例：

// ... (引入依赖)

// 创建 Translator
Translator<String, String> translator = new Translator<String, String>() {

    @Override
    public NDList processInput(TranslatorContext ctx, String input) throws Exception {
        // ... (读取图片，进行预处理)
        return new NDList(ndArray);
    }

    @Override
    public String processOutput(TranslatorContext ctx, NDList list) throws Exception {
        // ... (获取预测结果)
        return index + "";
    }
};

// 定义 Criteria
Criteria<String, String> criteria = Criteria.builder()
        .setTypes(String.class, String.class)
        .optModelPath(Paths.get("model/traced_resnet_model.pt"))
        .optOption("mapLocation", "true")
        .optTranslator(translator)
        .build();

// 实例化模型
ZooModel model = criteria.loadModel();

// 创建 Predictor
Predictor predictor = model.newPredictor();

// 进行预测
System.out.println(predictor.predict("test/test.jpg"));

最终输出：

258

258 对应的类别为 Samoyed（萨摩耶），说明预测成功。

总结

DJL 为 Java 开发者提供了强大的深度学习能力，让我们能够使用 Java 语言进行模型构建、训练和推理。本文通过一个简单的图片分类案例，展示了如何使用 DJL 加载 PyTorch 模型进行预测。

参考文献：

• DJL 官方文档
• DJL Github

希望本文能够帮助你快速入门 DJL，并开始你的 Java 深度学习之旅！