🌐 《在边缘计算中优化大语言模型的协同推理：Mixture-of-Edge-Experts (MoE²) 的实现与应用》 New

引言

近年来，随着人工智能技术的迅猛发展，大型语言模型（LLMs）在自然语言处理（NLP）领域展现出了卓越的能力。这些模型不仅能够生成文本、进行翻译，还能回答问题和进行对话。然而，LLMs 的计算和内存需求极高，使得它们在资源受限的边缘设备上的部署面临挑战。为了解决这一问题，本文提出了一种名为 Mixture-of-Edge-Experts (MoE²) 的协同推理框架，旨在优化边缘 LLM 的推理性能，同时降低延迟和能耗。

🌟 MoE² 框架概述

MoE² 框架的核心理念是利用边缘设备上不同 LLM 专家的异构能力，通过动态选择专家来处理各种任务。该框架由两个主要部分构成：门控网络和两级专家选择机制。在这种机制下，系统能够根据用户的请求动态选择最合适的 LLM 专家，从而实现高效的推理。

1. 门控网络

门控网络的设计至关重要，它负责为每个 LLM 专家分配权重。具体而言，给定输入提示 $x$，门控网络输出的 gating 值 $g(x, \theta)$ 用于计算每个专家的权重。公式如下：

$$g(x, \theta) = [g_n(x, \theta)]_{n \in N}$$

其中，$g_n(x, \theta)$ 是第 $n$ 个专家的 gating 值。通过这些 gating 值，系统能够在推理过程中动态选择最相关的专家。

2. 两级专家选择机制

MoE² 的两级专家选择机制分为粗粒度和细粒度两个层面：

• 粗粒度选择：在这一层面，系统基于优化算法选择一组 LLM 专家 $S$，确保在最坏情况下的能耗和延迟满足系统约束。
• 细粒度选择：在这一层面，系统根据输入提示 $x$ 通过路由网络进一步动态选择专家。这一机制充分利用了 LLM 专家在处理不同任务时的异构能力。

🔍 算法实现细节

1. 算法框架

MoE² 的实现过程分为两个主要阶段：训练阶段和推理阶段。在训练阶段，系统优化门控网络参数和专家选择；在推理阶段，系统根据用户请求生成响应。

训练阶段

训练阶段的核心是优化门控网络参数 $\theta$ 和专家选择 $S$。算法步骤如下：

1. 初始化：从训练数据集中随机选择一批数据。
2. 生成 gating 值：使用门控网络生成 gating 值。
3. 计算专家权重：根据 gating 值计算所有专家的权重。
4. 融合结果：将所有专家的输出结果进行加权融合，生成最终的预测。
5. 计算损失：根据真实标签计算损失，并反向传播更新参数。

训练阶段的伪代码如下：

def training_stage(dataset):
    for epoch in range(num_epochs):
        for batch in dataset:
            gating_values = gating_network(batch)
            weights = compute_weights(gating_values)
            predictions = fuse_expert_outputs(weights)
            loss = compute_loss(predictions, batch.labels)
            update_parameters(loss)

推理阶段

推理阶段的目标是根据用户的输入提示动态选择专家并生成响应。算法步骤如下：

1. 计算 gating 值：使用门控网络计算 gating 值。
2. 选择 Top-k 专家：根据 gating 值选择前 $k$ 个专家。
3. 计算权重：为选定的专家计算权重。
4. 融合输出：将选定专家的输出进行加权融合，生成最终响应。

推理阶段的伪代码如下：

def inference_stage(prompt):
    gating_values = gating_network(prompt)
    selected_experts = select_top_k_experts(gating_values, k)
    weights = compute_weights(selected_experts)
    response = fuse_expert_outputs(weights)
    return response

2. 优化算法

在 MoE² 中，优化算法的设计是解决组合优化问题的关键。我们采用了离散单调优化算法（Discrete Monotonic Optimization），该算法能够有效地处理专家选择的组合性质。具体步骤如下：

1. 定义可行解集：根据系统约束定义可行的专家集合。
2. 迭代优化：在每次迭代中，选择当前最优的专家集合，并更新可行解集。
3. 收敛判断：当满足收敛条件时，返回最优专家集合。

该算法的伪代码如下：

def discrete_monotonic_optimization():
    feasible_set = initialize_feasible_set()
    while not converged:
        current_best = select_best_solution(feasible_set)
        update_feasible_set(current_best)
    return current_best

📊 实验结果与分析

在实际应用中，我们在多个边缘服务器上实现了 MoE² 框架，并进行了广泛的实验。实验结果表明，MoE² 在不同的延迟和能耗预算下均表现出色，能够有效优化 LLM 的推理性能。

1. 性能评估

通过在不同的边缘设备上测试 MoE²，我们发现该框架在响应准确性、延迟和能耗方面均优于传统方法。具体而言，MoE² 在处理复杂任务时能够显著降低延迟，同时保持较高的准确率。

2. 资源利用

MoE² 的专家选择机制能够根据实际的资源限制动态调整，确保在不同的工作负载下实现最佳的资源利用。这一特性使得 MoE² 特别适合在资源受限的边缘环境中应用。

结论

本文提出的 MoE² 框架为边缘计算中的大语言模型提供了一种高效的协同推理解决方案。通过优化门控网络和专家选择机制，MoE² 能够在满足延迟和能耗约束的前提下，充分发挥 LLM 的潜力。未来的研究可以进一步探索 MoE² 在动态系统条件下的适应性，以及在多模态 LLM 部署中的应用。

参考文献

1. Lyudong Jin et al., “MoE²: Optimizing Collaborative Inference for Edge Large Language Models,” arXiv:2501.09410v1, 2025.

通过对 MoE² 框架的详细分析和算法实现的深入探讨，本文为边缘计算中的大语言模型提供了新的思路和方法，期待在未来的研究中能够进一步推动这一领域的发展。