새벽 배송 성수기에도, 운영 서버 접근은 승인된 만큼만

과제: 가장 급한 순간에 가장 기록이 적었다

들녘마켓의 주문량은 명절과 주말 새벽에 몰립니다. 이때 주문 처리나 물류센터 연동에 문제가 생기면 당직 엔지니어가 운영 서버에 바로 들어가야 했고, 이를 위해 몇몇 사람에게 상시 관리자 권한이 열려 있었습니다. 문제는 장애가 끝난 뒤였습니다. 누가 어떤 명령을 실행했는지 되짚으려면 서버마다 흩어진 로그를 모아야 했고, 일부 작업은 아예 남아 있지 않았습니다.

접근 방식: 긴급 권한도 요청의 한 종류로

들녘마켓은 빗장 액세스로 서버와 쿠버네티스 클러스터 접근을 옮기면서 상시 관리자 권한을 모두 회수했습니다. 대신 긴급 권한 요청 템플릿을 만들었습니다. 당직자가 장애 티켓 번호와 대상 시스템을 입력하면 권한은 즉시 발급되고, 승인은 사후에 당직 책임자가 확인하는 방식입니다. 권한은 2시간 뒤 자동으로 만료됩니다.

긴급 권한으로 열린 세션은 모두 녹화됩니다. 장애 회고 때 팀은 세션 재생 화면에서 명령어를 검색해 원인에 가까운 순간부터 다시 봅니다. 쿠버네티스에서는 네임스페이스 단위로 권한을 나누어, 주문 서비스 장애에 물류 연동 클러스터까지 열리는 일이 없도록 했습니다.

운영에 미친 변화

처음에는 긴급 상황에서 절차가 하나 늘어난다는 우려가 있었습니다. 실제로는 템플릿 입력이 3분 안에 끝나고, 필요한 서버 목록이 요청 화면에 이미 정리돼 있어 오히려 접속 준비가 빨라졌다는 평가가 많았습니다. 운영 서버의 모든 세션이 기록으로 남으면서 장애 회고 문서의 작성 시간도 크게 줄었습니다.

다음 과제

들녘마켓은 협력사 직원이 사용하는 물류 관리 웹 화면에도 같은 방식의 접근 통제를 적용하고, 화면에 표시되는 고객 연락처를 역할에 따라 가리는 작업을 준비하고 있습니다.