EWC（弹性权重巩固）
概述
EWC（Elastic Weight Consolidation）是持续学习（Continual Learning）领域中提出的代表性正则化方法，通过测量并保护权重的关键性，使神经网络在学习新任务时保持旧任务的性能。该方法由DeepMind的James Kirkpatrick等人在2017年发表的论文中首次提出，有效解决了灾难性遗忘（Catastrophic Forgetting）问题。
主要内容
1. 背景：灾难性遗忘问题
神经网络通常在学习一个任务后，再学习另一个任务时，旧任务的性能会急剧下降。这是因为神经网络的权重会根据新数据更新，从而覆盖先前学习的模式。EWC通过测量每个权重对旧任务的重要性，并抑制重要权重的变化来解决这一问题。
2. 核心思想
EWC受贝叶斯推断（Bayesian inference）启发。在近似后验概率（posterior）时，使用拉普拉斯近似（Laplace approximation）表示旧任务的参数分布。每个权重的重要性通过费舍尔信息矩阵（Fisher Information Matrix）的对角元素来衡量。费舍尔信息矩阵表示权重对输出的敏感度，值越大说明该权重对旧任务越重要。
3. 数学公式化
EWC的损失函数定义如下：
L(θ) = L_new(θ) + (λ/2) Σ_i F_i (θ_i - θ_old_i)^2
其中：
- L_new(θ) 是新任务的损失
- λ 是控制正则化强度的超参数
- F_i 是第i个权重的费舍尔信息矩阵对角元素
- θ_old_i 是学习旧任务后的权重值
该损失函数在学习新任务的同时，约束重要权重不发生大幅变化。
4. 实现过程
1. 学习第一个任务：以标准方式训练神经网络，训练后计算费舍尔信息矩阵。
2. 学习第二个任务：保存旧任务的权重和费舍尔信息，使用EWC损失函数学习新任务。
3. 重复：每增加一个任务，累积并更新费舍尔信息。
5. 优点与局限
优点：
- 实现相对简单，无需修改现有神经网络结构。
- 内存高效：无需存储旧任务数据，仅保留权重和费舍尔信息。
- 在多种领域（如图像分类、强化学习）中验证有效。
局限：
- 仅使用费舍尔信息矩阵的对角元素，忽略了权重间的相互作用。
- 随着任务数量增加，正则化项累积，可能使新任务学习变得困难。
- 超参数λ敏感度高，难以找到最优值。
6. 变体与扩展
- Online EWC：在任务顺序不固定的环境中逐步更新费舍尔信息。
- MAS（Memory Aware Synapses）：与EWC类似，但使用基于输出变化的重要性度量方式。
- SI（Synaptic Intelligence）：在学习过程中跟踪权重的变化量，动态计算重要性。
最新趋势
截至2024-2025年，EWC在持续学习研究中仍作为重要基准（baseline）使用。近期研究倾向于将EWC与基于记忆的方法（如回放缓冲区）结合以提升性能。此外，将EWC应用于基于Transformer的模型（如GPT、BERT）以在微调时保留预训练知识的研究活跃。特别是在大规模语言模型（LLM）的持续学习中，EWC被证实能有效缓解灾难性遗忘。2025年，基于EWC的新正则化技术“EWC++”被提出，通过费舍尔信息矩阵的块对角近似部分反映权重间的相关性，这一方法受到关注。
相关主题
- [[持续学习]]
- [[灾难性遗忘]]
- [[费舍尔信息矩阵]]
- [[正则化技术]]
- [[基于记忆的持续学习]]
---
AI自动生成文档 · 社区共同改进