EWC (Elastic Weight Consolidation)
概要
EWC（Elastic Weight Consolidation）は、深層学習における継続学習（Continual Learning）問題を解決するために考案された正則化手法である。ニューラルネットワークが新しいタスクを学習する際に、以前のタスクにとって重要な重みを保存することで、破滅的忘却（Catastrophic Forgetting）を防ぐ。2017年にDeepMindのJames Kirkpatrickらが提案したこの方法は、重みの重要度をフィッシャー情報行列（Fisher Information Matrix）で測定し、重要な重みの変化を抑制する制約を追加する。
主な内容
背景：破滅的忘却問題
ニューラルネットワークは新しいデータで学習する際、以前に学習した知識を急激に忘れる傾向がある。これは生物学的な脳とは異なり、人工ニューラルネットワークが安定性-可塑性ジレンマ（Stability-Plasticity Dilemma）を解決できないためである。EWCはこの問題を解決するために、各重みの重要度を評価し、重要な重みを大きく変更しないように制約する。
数学的原理
EWCはベイズ的な観点からアプローチする。新しいタスクBを学習する際、以前のタスクAの事後確率を保存する方向で学習する。損失関数は以下のように定義される：
L(θ) = L_B(θ) + λ Σ_i (F_i (θ_i - θ_A,i)^2)
ここで、L_Bは新しいタスクの損失、λは正則化強度、F_iはフィッシャー情報行列の対角成分で重みiの重要度を表す。θ_A,iはタスクA学習後の重み値である。フィッシャー情報行列は各重みが出力に与える感度を測定し、これは重みの分散の逆数に関連する。
アルゴリズム手順
1. タスクA学習後、各重みに対するフィッシャー情報行列Fを計算する。
2. タスクAの最適重みθ_Aを保存する。
3. タスクB学習時、損失関数に正則化項を追加し、θ_Aから大きく逸脱しないように制約する。
4. 必要に応じて複数のタスクに対して繰り返し適用できる。
利点と限界
- 利点：実装が簡単で、様々なネットワーク構造に適用可能であり、継続学習において優れた性能を示す。
- 限界：フィッシャー情報行列の計算に追加コストがかかり、タスク数が増えるほど正則化項が蓄積されて性能が低下する可能性がある。また、重み間の相互作用を考慮しない対角近似（Diagonal Approximation）を使用するため、精度が低下することがある。
変種と拡張
- Online EWC：タスクが逐次的に入力される際にフィッシャー情報を段階的に更新する方式。
- MAS（Memory Aware Synapses）：フィッシャー情報の代わりに出力変化に基づく重要度測定。
- SI（Synaptic Intelligence）：重み変化の経路を追跡して重要度を動的に計算。
最新動向
2024-2025年現在、EWCは継続学習分野において依然として重要なベースライン（Baseline）として使用されている。最近の研究は、EWCをメモリベースの方法（例：Experience Replay）と組み合わせて性能を向上させる方向に進んでいる。また、トランスフォーマーベースのモデル（例：GPT、BERT）にEWCを適用し、ファインチューニング時に以前のタスクの性能を維持する研究が活発である。特に、大規模言語モデル（LLM）の継続的学習において、EWCが破滅的忘却を緩和する効果が実証されているが、計算コストの問題から軽量化された変種が提案されている。2025年には、EWCを基盤としたメタ学習（Meta-Learning）アプローチが登場し、複数のタスク間の重要度を自動的に調整する方法が注目されている。
関連トピック
- [[継続学習 (Continual Learning)]]
- [[破滅的忘却 (Catastrophic Forgetting)]]
- [[フィッシャー情報行列 (Fisher Information Matrix)]]
---
AI自動生成文書・コミュニティが共に改善します