灾难性遗忘的
神经架构解决方案
探索MoE与MoR架构如何重塑大型语言模型的持续学习能力
执行摘要
核心问题
大型语言模型微调中的灾难性遗忘主要由全局参数调整导致，而非特定"脑区"被切除。权重更新覆盖先前知识是根本原因。
解决方案
混合专家（MoE）架构通过模块化设计和专家分工机制，已展现出有效缓解灾难性遗忘的潜力，多种变体在实验中取得积极效果。
未来潜力
Mixture-of-Recursions (MoR) 架构的模块化计算特性可能为未来避免知识覆盖提供思路，但目前尚缺乏直接证据。
"MoE架构通过专家分工和参数隔离，使得模型能够在不显著干扰已学知识的前提下，吸收新知识，从而有效缓解灾难性遗忘。"
— 基于理论分析与实证研究1. 灾难性遗忘：机制与影响
1.1 微调导致灾难性遗忘的根本原因
大型语言模型（LLM）在微调过程中出现的灾难性遗忘（Catastrophic Forgetting, CF）现象，其根本原因在于模型参数的更新机制。当LLM在预训练阶段学习了海量的通用知识后，其内部权重（参数）已经形成了一个能够捕捉语言规律和世界知识的复杂表示。
关键研究发现
研究表明，即使是参数规模达到数十亿的LLM，在连续微调多个任务时，也会普遍出现遗忘现象，且模型规模越大，在某些情况下遗忘问题可能更为严重 1。
1.2 LLM中知识存储与遗忘的分布式特性
与生物大脑可能存在特定功能区域不同，LLM中的知识是以分布式的方式存储在其庞大的参数网络中的 68。这意味着特定的概念或技能并非由少数几个神经元或权重决定，而是由大量神经元及其连接权重共同表征的复杂模式。
1.3 "脑区切除"隐喻的局限性分析
将LLM的灾难性遗忘比喻为"脑区被切除"虽然直观，但并不准确，且具有误导性。LLM的知识是通过网络中大量神经元之间的连接权重以高度分布式和非局部化的方式存储的，并没有明确的、物理上可区分的"区域"专门负责某一特定类型的知识。
更准确的描述
微调导致权重空间的重新配置，使得模型在新任务上表现更优，但可能以牺牲在旧任务上的表现为代价，因为原有的权重配置（即知识表征）被新的配置所覆盖或干扰3。
2. 混合专家（MoE）架构：缓解灾难性遗忘的有效途径
2.1 MoE架构的核心机制：专家分工与路由
混合专家（Mixture of Experts, MoE）架构的核心机制在于将大型模型分解为多个较小的、专业化的子网络，即"专家"（experts） 75，并结合一个"路由网络"（routing network）或"门控机制"（gating mechanism）来动态地为每个输入或输入的一部分选择最合适的专家进行处理。
语言理解"] C --> E["专家2
逻辑推理"] C --> F["专家3
专业知识"] C --> G["专家N
特定任务"] D --> H["加权求和"] E --> H F --> H G --> H H --> I["输出表示"] style A fill:#e3f2fd,stroke:#1e293b,stroke-width:2px,color:#1e293b style B fill:#e8f5e8,stroke:#1e293b,stroke-width:2px,color:#1e293b style C fill:#fff3e0,stroke:#1e293b,stroke-width:2px,color:#1e293b style D fill:#f3e5f5,stroke:#1e293b,stroke-width:2px,color:#1e293b style E fill:#f3e5f5,stroke:#1e293b,stroke-width:2px,color:#1e293b style F fill:#f3e5f5,stroke:#1e293b,stroke-width:2px,color:#1e293b style G fill:#f3e5f5,stroke:#1e293b,stroke-width:2px,color:#1e293b style H fill:#e1f5fe,stroke:#1e293b,stroke-width:2px,color:#1e293b style I fill:#e8f5e8,stroke:#1e293b,stroke-width:2px,color:#1e293b classDef default font-family:Inter,font-size:14px;
2.2 MoE如何通过模块化设计减少知识覆盖
MoE架构通过其模块化设计，为减少微调过程中的知识覆盖提供了一种有效的途径。在持续学习或连续微调的场景下，当引入新的任务时，可以只更新与该新任务相关的专家参数，或者添加新的专家来处理新任务，而保持原有专家的参数不变或较少更新75。
PMoE架构案例
Progressive Mixture of Experts (PMoE) 架构采用了不对称的深度结构，其中浅层保留通用知识，而深层则通过逐步添加专家来学习新的任务特定知识70。
2.3 MoE在持续学习中的应用与效果
MoE架构及其变体在持续学习（Continual Learning, CL）领域展现出显著的应用潜力，特别是在缓解灾难性遗忘方面。多种MoE变体在实验中取得了积极效果：
| MoE 变体 | 核心机制 | 主要优势 | 应用效果 |
|---|---|---|---|
| PMoE 70 | 不对称Transformer，浅层通用知识，深层逐步添加专家 | 减少遗忘，提升性能 | TRACE数据集，通用语言理解任务，优于现有方法 |
| Remembering Transformer 64 | 混合适配器，新颖性检测路由 | 减少内存占用 | 类增量分割，排列任务，SOTA性能 |
| CL-MoE 73 | 双路由器，动态动量更新专家 | 减轻遗忘，提升迁移能力 | 持续视觉问答（VQA） |
| SLIM 74 | 身份层专家，权重让步路由 | 缓解遗忘，保持通用性能 | 下游任务样本路由至LoRA，非下游至身份层 |
| TT-LoRA MoE 80 | PEFT + 稀疏MoE路由，独立训练冻结专家 | 内存高效，可扩展，消除任务干扰 | 多任务处理，优于AdapterFusion |
2.4 MoE缓解遗忘的理论分析
理论上，MoE架构之所以能够有效缓解灾难性遗忘，主要归功于其模块化设计和条件计算特性。一篇题为"Theory on Mixture-of-Experts in Continual Learning"的ICLR 2025 (Spotlight) 论文8首次通过理论视角分析了MoE在CL中的影响。
核心理论发现
MoE模型能够通过其门控网络将不同的任务稀疏化并分配给多个专家处理，从而实现专家间的分工与协作 72。各专家倾向于专注于不同任务，门控网络则扮演"调度员"角色。
3. Mixture-of-Recursions (MoR) 架构：潜力与展望
3.1 MoR架构的核心机制：动态递归深度与模块化计算
Mixture-of-Recursions (MoR) 架构是一种新兴的、旨在提升大型语言模型计算效率的Transformer变体 7。其核心机制在于为每个输入词元（token）动态地调整其在模型中的递归计算深度，从而实现一种模块化的、自适应的计算分配。
浅层处理"] A --> C["词元2
中层处理"] A --> D["词元3
深层处理"] B --> E["输出表示1"] C --> F["输出表示2"] D --> G["输出表示3"] E --> H["整合输出"] F --> H G --> H style A fill:#e3f2fd,stroke:#1e293b,stroke-width:2px,color:#1e293b style B fill:#f3e5f5,stroke:#1e293b,stroke-width:2px,color:#1e293b style C fill:#f3e5f5,stroke:#1e293b,stroke-width:2px,color:#1e293b style D fill:#f3e5f5,stroke:#1e293b,stroke-width:2px,color:#1e293b style E fill:#e8f5e8,stroke:#1e293b,stroke-width:2px,color:#1e293b style F fill:#e8f5e8,stroke:#1e293b,stroke-width:2px,color:#1e293b style G fill:#e8f5e8,stroke:#1e293b,stroke-width:2px,color:#1e293b style H fill:#fff3e0,stroke:#1e293b,stroke-width:2px,color:#1e293b classDef default font-family:Inter,font-size:14px;
3.2 MoR在计算效率方面的优势
Mixture-of-Recursions (MoR) 架构的主要设计目标之一就是显著提升大型语言模型的计算效率，特别是在推理阶段。研究表明，MoR架构能够在保持与标准Transformer相当甚至更好的性能的前提下，实现高达2倍的推理加速 9。
3.3 MoR在避免灾难性遗忘方面的潜在可能性
尽管Mixture-of-Recursions (MoR) 架构的主要设计初衷是提升计算效率，但其固有的模块化计算特性为未来探索其在持续学习中的应用提供了潜在可能性。然而，目前关于MoR的研究主要集中在计算效率和性能提升方面，尚未有直接的实验证据或理论分析明确证明其在缓解灾难性遗忘方面的有效性 7 9。
3.4 "联邦制度"类比：MoR的模块化特性与知识管理
将Mixture-of-Recursions (MoR) 架构的模块化特性类比为"联邦制度"来构建LLM，是一种富有启发性的思考方式。MoR通过其动态路由机制，为每个输入词元分配不同的递归计算深度，形成了多条并行的、可配置的计算路径 7。
"在这种联邦式模式下，不同的'知识模块'可以相对独立地更新和演化，而不会对其他模块产生过度的干扰，从而在一定程度上避免'脑区独裁'和灾难性遗忘。"
— 基于MoR模块化特性的推测性分析4. LLM中特定任务神经元与灾难性遗忘的深层机制
4.1 LLM中特定任务神经元的存在与识别
研究表明，在大型语言模型（LLM）中，确实存在一些神经元或神经元子集对特定任务或概念表现出高度的选择性和相关性，这些可以被视为"特定任务神经元"或"专家神经元"。一项研究提出通过梯度归因方法来量化Transformer架构中前馈网络（FFN）模块的每个神经元对给定任务的相关性得分65。
关键发现
专家单元的存在与模型的泛化能力高度相关（r²=0.833） 92。此外，研究还发现了预训练Transformer模型中的"技能神经元"，这些神经元在软提示上的激活高度预测输入的任务标签。
4.2 参数干扰作为灾难性遗忘的核心原因
灾难性遗忘的根本原因在于神经网络参数在学习新任务时发生的干扰 68 75。当模型学习一个新任务时，其参数（权重）会通过梯度下降等优化算法进行调整，以最小化新任务上的损失。
核心机制
如果新旧任务的最优参数配置存在冲突，或者新任务的训练过程导致参数大幅度偏离其在旧任务上的最优值，那么模型在旧任务上的性能就会显著下降。因此，缓解灾难性遗忘的关键在于如何有效地管理参数更新，以减少或隔离不同任务之间的参数干扰。
4.3 神经元级别持续微调（NCFT）等针对性缓解策略
针对灾难性遗忘问题，研究人员提出了神经元级连续微调（Neuron-level Continual Fine-Tuning, NCFT） 65。NCFT的核心思想是在连续学习一系列任务时，对于当前正在训练的任务，只更新被识别为该任务特定的神经元的参数，而保持模型中其他非特定神经元的参数不变。
实施策略
当训练任务D_n时，首先通过梯度归因等方法识别出与该任务高度相关的特定神经元集合。然后，在微调过程中，只有这些特定神经元的参数会被更新，而其余大部分参数则被冻结。这种策略旨在通过隔离不同任务的参数更新范围，最大限度地减少新任务学习对旧任务知识的干扰。
5. 结论与未来研究方向
5.1 当前研究的总结与局限性
当前研究表明，大型语言模型（LLM）在微调过程中普遍存在灾难性遗忘现象，其主要原因是模型权重的调整覆盖了先前学到的知识。混合专家（MoE）架构通过其模块化的专家分工和路由机制，展现出在持续学习中有效减少遗忘的潜力，多种MoE变体在实验中取得了积极效果。
主要成就
- MoE架构在持续学习中展现出显著效果
- 理论分析支持专家分工机制的有效性
- 特定任务神经元的识别为精细控制提供基础
- 模块化设计理念得到广泛验证
当前局限性
- MoE路由机制设计仍面临挑战
- MoR在持续学习中的潜力尚未充分验证
- 特定神经元识别准确性有待提升
- 泛化到复杂真实场景的能力待检验
5.2 未来架构设计与持续学习策略的展望
展望未来，为了更有效地解决大型语言模型中的灾难性遗忘问题，架构设计和持续学习策略的研究可以从以下几个方向深入：
智能路由机制
探索基于元学习或强化学习的路由策略，使其能够自适应地调整模块间的信息流动和参数更新。
参数隔离技术
研究更细粒度的参数共享与保护策略，在神经元级别或权重级别进行选择性更新和冻结。
神经科学启发
借鉴人脑的互补学习系统（CLS）理论和神经可塑性机制，设计更具生物合理性的持续学习算法。
知识迁移促进
在缓解遗忘的同时，积极促进任务间的正向迁移，提升持续学习系统整体效能。
"通过在这些方向上的持续努力，有望开发出能够真正实现终身学习的大型语言模型，使其在不断适应新知识、新任务的同时，能够稳定地保留和利用已学到的宝贵经验。"
— 未来研究展望关键建议
架构创新
继续探索MoE和MoR架构的优化，特别是在动态路由和参数隔离方面的创新
理论深化
加强对灾难性遗忘机制的理论理解，建立更完善的评估标准
实践应用
推动研究成果在实际应用场景中的落地，验证其有效性和可扩展性