EWC (Elastic Weight Consolidation)
개요
EWC(Elastic Weight Consolidation)는 지속적 학습(Continual Learning) 분야에서 제안된 대표적인 정규화 기반 방법으로, 신경망이 새로운 작업을 학습할 때 이전 작업의 성능을 유지하기 위해 가중치의 중요도를 측정하고 보호합니다. 2017년 DeepMind의 James Kirkpatrick 등이 발표한 논문에서 처음 소개되었으며, 파국적 망각(Catastrophic Forgetting) 문제를 해결하는 데 효과적입니다.
주요 내용
1. 배경: 파국적 망각 문제
신경망은 일반적으로 하나의 작업에 대해 학습된 후 다른 작업을 학습하면 이전 작업의 성능이 급격히 저하됩니다. 이는 신경망의 가중치가 새로운 데이터에 맞게 업데이트되면서 이전에 학습한 패턴이 덮어쓰기되기 때문입니다. EWC는 이러한 문제를 해결하기 위해 각 가중치가 이전 작업에 얼마나 중요한지를 측정하고, 중요한 가중치는 변화를 억제합니다.
2. 핵심 아이디어
EWC는 베이지안 추론(Bayesian inference)에서 영감을 받았습니다. 사후 확률(posterior)을 근사할 때, 이전 작업의 파라미터 분포를 라플라스 근사(Laplace approximation)로 표현합니다. 각 가중치의 중요도는 피셔 정보 행렬(Fisher Information Matrix)의 대각 성분으로 측정됩니다. 피셔 정보 행렬은 가중치가 출력에 미치는 민감도를 나타내며, 값이 클수록 해당 가중치가 이전 작업에 중요함을 의미합니다.
3. 수학적 공식화
EWC의 손실 함수는 다음과 같이 정의됩니다:
L(θ) = L_new(θ) + (λ/2) Σ_i F_i (θ_i - θ_old_i)^2
여기서:
- L_new(θ)는 새로운 작업에 대한 손실
- λ는 정규화 강도를 조절하는 하이퍼파라미터
- F_i는 i번째 가중치의 피셔 정보 행렬 대각 성분
- θ_old_i는 이전 작업 학습 후의 가중치 값
이 손실 함수는 새로운 작업을 학습하면서도 중요한 가중치가 크게 변하지 않도록 제약을 가합니다.
4. 구현 과정
1. 첫 번째 작업 학습: 표준 방식으로 신경망을 학습하고, 학습 후 피셔 정보 행렬을 계산합니다.
2. 두 번째 작업 학습: 이전 작업의 가중치와 피셔 정보를 저장한 후, EWC 손실 함수를 사용하여 새로운 작업을 학습합니다.
3. 반복: 각 작업이 추가될 때마다 피셔 정보를 누적하여 업데이트합니다.
5. 장점과 한계
장점:
- 구현이 비교적 간단하며, 기존 신경망 구조를 변경할 필요가 없습니다.
- 메모리 효율적: 이전 작업의 데이터를 저장하지 않고 가중치와 피셔 정보만 유지합니다.
- 다양한 도메인(이미지 분류, 강화 학습 등)에서 효과가 입증되었습니다.
한계:
- 피셔 정보 행렬의 대각 성분만 사용하므로 가중치 간 상호작용을 무시합니다.
- 작업 수가 많아질수록 정규화 항이 누적되어 새로운 작업 학습이 어려워질 수 있습니다.
- 하이퍼파라미터 λ의 민감도가 높아 최적값을 찾기 어렵습니다.
6. 변형 및 확장
- Online EWC: 작업 순서가 고정되지 않은 환경에서 점진적으로 피셔 정보를 업데이트합니다.
- MAS (Memory Aware Synapses): EWC와 유사하지만 출력 변화에 기반한 중요도 측정 방식을 사용합니다.
- SI (Synaptic Intelligence): 학습 과정에서 가중치의 변화량을 추적하여 중요도를 동적으로 계산합니다.
최신 동향
2024-2025년 기준, EWC는 지속적 학습 연구에서 여전히 중요한 기준점(baseline)으로 사용됩니다. 최근 연구는 EWC를 메모리 기반 방법(예: 리플레이 버퍼)과 결합하여 성능을 향상시키는 방향으로 진행되고 있습니다. 또한, 트랜스포머 기반 모델(예: GPT, BERT)에 EWC를 적용하여 파인튜닝 시 사전 학습 지식을 보존하는 연구가 활발합니다. 특히, 대규모 언어 모델(LLM)의 지속적 학습에서 EWC가 파국적 망각을 완화하는 데 효과적임이 확인되었습니다. 2025년에는 EWC를 기반으로 한 새로운 정규화 기법인 'EWC++'가 제안되어, 피셔 정보 행렬의 블록 대각 근사를 통해 가중치 간 상관관계를 일부 반영하는 접근이 주목받고 있습니다.
관련 주제
- [[지속적 학습]]
- [[파국적 망각]]
- [[피셔 정보 행렬]]
- [[정규화 기법]]
- [[메모리 기반 지속적 학습]]
---
AI 자동 생성 문서 · 커뮤니티가 함께 개선합니다