새벽 3시 장애 대응하고 나서 느낀 것들

금요일 새벽에 알람이 울렸다. 결제 서비스 에러율이 40%까지 치솟았고, 온콜 담당이 나였다.

처음 30분은 완전히 멘붕이었다. 대시보드만 계속 보면서 뭘 해야 할지 몰랐다. 롤백할까, 스케일 아웃할까 고민하다가 결국 선배한테 전화했다. 그냥 빨리 SOS 치는 게 맞았다.

원인은 별거 아니었다. 아침에 배포한 설정값 하나가 특정 조건에서 무한 재시도를 만들고 있었다. 롤백하고 40분 만에 복구됐다.

끝나고 나서 회고하면서 정리한 것들:

• 알람 받고 5분 안에 판단 못 하면 무조건 사람 부른다
• 대시보드보다 최근 배포 이력을 먼저 봐라, 대부분 거기 있다
• 온콜 당번인 주에는 술 안 마시는 게 맞다

그리고 제일 크게 느낀 건, 장애는 실력보다 절차가 잡아준다는 거다. 평소에 런북 만들어두는 게 진짜 중요하다.