새벽 4시에 장애 알림 받고 복구한 이야기
지난주 화요일 새벽에 폰이 미친 듯이 울렸습니다. 실서비스 DB 커넥션 관련 알림이었고, 대시보드는 완전히 빨갛게 물들어 있었습니다.
처음 30분은 그냥 멍했습니다. 커넥션 풀이 터졌고, 어플리케이션은 점점 응답이 느려지고. 일단 서킷브레이커 켜고 트래픽 새는 쪽을 차단했습니다.
원인은 결국 커넥션 반환 누락이었습니다. 예외 경로에서 close를 안 타는 코드가 하나 있었는데, 평소엔 잘 안 걸리던 경로라 더 했어요.
복구하고 나서 정리한 게 이겁니다.
- 예외 경로 테스트를 아예 안 짜뒀다는 점
- 알림은 서지만 대시보드가 없어서 5분은 날린 점
- 롤백 절차가 문서에만 있고 아무도 안 해봤다는 점
이 세 개는 다음 주에 바로 손봤습니다. 장애는 결국 다 문서화 문제더라고요. 다른 분들은 새벽에 알림 오면 일단 뭐부터 하시나요?
5 개의 답변
새벽 알림은 일단 5초 명상하고 물 한 잔 마심ㅋㅋ 그 상태로 새벽에 롤백했다가 더 큰 사고치는 거 몇 번 봐서
글쓴이 스택이 뭔지 궁금하네요. 커넥션 풀 뭐 쓰시고 서킷브레이커는 어떤 걸로 켜셨어요? 그리고 롤백 절차 문서에만 있고 아무도 안 해봤다는 거 진짜 위험한데 다음 주에 바로 손보신 건 잘하셨습니다
대시보드 없어서 5분 날린 거 너무 공감됨... 알림만 오고 어디부터 봐야 할지 모르는 그 느낌. 저희도 그거 겪고 나서 알림 채널 상단에 핀 고정으로 대시보드 링크 박아놨어요
커넥션 반환 누락이면 HikariCP 쓰시면 leakDetectionThreshold 걸어두는 게 제일 빠릅니다. 30초 정도로 잡아두면 반환 안 된 놈 스택트레이스까지 찍혀서 다음엔 30분 안 날림. 그리고 알림에 런북 링크 다는 거 진짜 효과 커요. 저희는 알림 본문에 '일단 이거 켜라' 3줄이랑 대시보드 URL 박아놨는데 그거 하나로 새벽 대응 속도 확 줄었습니다. 서킷브레이커 먼저 켠 판단은 잘하신 듯
'장애는 결국 다 문서화 문제더라고요' 이건 좀 글쎄요. 이번 건은 문서화 문제가 아니라 예외 경로 테스트를 안 짠 문제고, 더 정확히는 자원 해제를 수동 close에 맡긴 설계 문제잖아요. try-with-resources나 finally로 구조적으로 막았으면 문서 없어도 안 났을 장애 아닌가요? 원인 정리한 3개 항목도 다 '우리가 안 해봤다'로 뭉개서 좀 아쉽네요