EWC（弹性权重巩固）
概述
EWC（弹性权重巩固）是一种为解决深度学习中的持续学习问题而设计的正则化技术。当神经网络学习新任务时，它通过保留对旧任务重要的权重来防止灾难性遗忘。该方法由DeepMind的James Kirkpatrick等人于2017年提出，利用Fisher信息矩阵衡量权重的重要性，并添加约束以抑制重要权重的变化。
主要内容
背景：灾难性遗忘问题
神经网络在学习新数据时，往往会急剧忘记之前学到的知识。这是因为与生物大脑不同，人工神经网络无法解决稳定性-可塑性困境。EWC通过评估每个权重的重要性，并约束重要权重不发生大幅变化来解决这一问题。
数学原理
EWC从贝叶斯角度出发。在学习新任务B时，它朝着保留旧任务A后验概率的方向进行学习。损失函数定义如下：
L(θ) = L_B(θ) + λ Σ_i (F_i (θ_i - θ_A,i)^2)
其中，L_B是新任务的损失，λ是正则化强度，F_i是Fisher信息矩阵的对角元素，表示权重i的重要性。θ_A,i是学习任务A后的权重值。Fisher信息矩阵衡量每个权重对输出的敏感度，与权重的方差倒数相关。
算法步骤
1. 学习任务A后，计算每个权重的Fisher信息矩阵F。
2. 保存任务A的最优权重θ_A。
3. 学习任务B时，在损失函数中添加正则化项，约束权重不显著偏离θ_A。
4. 如有需要，可对多个任务重复应用。
优点与局限
- 优点：实现简单，适用于多种网络结构，在持续学习中表现优异。
- 局限：计算Fisher信息矩阵需要额外成本；随着任务数量增加，正则化项累积可能导致性能下降。此外，使用对角近似忽略权重间的相互作用，可能降低精度。
变体与扩展
- Online EWC：当任务顺序输入时，逐步更新Fisher信息的方法。
- MAS（记忆感知突触）：基于输出变化而非Fisher信息来衡量重要性。
- SI（突触智能）：通过追踪权重变化路径动态计算重要性。
最新趋势
截至2024-2025年，EWC仍是持续学习领域的重要基准。近期研究倾向于将EWC与基于记忆的方法（如经验回放）结合以提升性能。此外，将EWC应用于基于Transformer的模型（如GPT、BERT）以在微调时保持旧任务性能的研究也较为活跃。特别是在大规模语言模型的持续学习中，EWC已被证明能缓解灾难性遗忘，但由于计算成本问题，轻量级变体被提出。2025年，基于EWC的元学习方法出现，其中自动调整多个任务间重要性的方法备受关注。
相关主题
- [[持续学习]]
- [[灾难性遗忘]]
- [[Fisher信息矩阵]]
---
AI自动生成文档 · 社区共同改进