주요 성과
MTTD / MTTR 감소
2025년 4분기에 탐지된 이상 신호
장애당 소요 시간 감소
장애 요약 정확도
개요
Shutterstock(NYSE: SSTK)은 150개국 이상에서 대규모 크리에이티브 콘텐츠를 운영하는 글로벌 리더로, 장애 대응 프로세스의 효율성과 정확성을 높이고자 했습니다. 수백만 명의 고객에게 서비스를 제공하는 복잡한 상시 운영 디지털 플랫폼을 300명 이상의 엔지니어와 기술 운영 담당자가 관리하는 만큼, 안정성은 고객 신뢰와 비즈니스 성과에 핵심적인 요소입니다.
Shutterstock의 디지털 인프라가 확장되면서 장애 상황에서는 분산된 시스템 전반에서 빠르고 정확한 컨텍스트 파악과 조율이 점점 더 중요해졌습니다. Vibe OnCall을 통해 Shutterstock은 24시간 실시간으로 작동하는 AI Incident Commander를 도입했으며, 탐지, 조율, 컨텍스트 정리를 자동화하고 장애 관련 지식을 축적해 더 빠른 해결과 지속적인 안정성 개선을 지원할 수 있었습니다.
당시 과제
Vibe OnCall을 도입하기 전, Shutterstock은 PagerDuty와 Jira 같은 기존 장애 관리 도구 전반에서 수동 업데이트와 분산된 정보 소스에 의존하는 경우가 많았습니다. 장애 시간의 상당 부분은 기술적 진단이 아니라 조율, 커뮤니케이션, 컨텍스트 수집에 사용되었습니다. 특히 여러 지역과 시간대에서 운영되는 글로벌 분산 팀의 경우, 장애 상황을 모두가 실시간으로 같은 맥락에서 이해하기 어려웠습니다.
Shutterstock에서 장애가 에스컬레이션되면 Tier 1 온콜 엔지니어, Tier 2 서비스 오너, Incident Commander, 리더십 이해관계자 등 여러 단계의 대응 담당자가 관여하게 되며, 각 담당자는 시의적절하고 정확한 컨텍스트를 필요로 합니다. 이전에는 엔지니어들이 활성 장애 상황에서 Slack 채널, 브리지 콜, 티켓, 대시보드 전반에 걸쳐 “무슨 일이 일어나고 있는지”, “무엇이 영향을 받고 있는지”, “누가 대응 중인지” 같은 반복적인 질문에 답하느라 자주 방해를 받았습니다. 장애가 여러 지역을 넘나들면서 팀 간 인수인계 과정에서도 커뮤니케이션 공백, 일관되지 않은 상태 업데이트, 경영진의 가시성 지연이 자주 발생했습니다.
시간이 지나면서 이러한 패턴은 알림 피로와 대응자 번아웃으로 이어졌습니다. 엔지니어들은 기술적 문제를 해결하는 것뿐만 아니라 도구, 팀, 이해관계자 사이에서 정보를 전달하는 역할까지 수행해야 했습니다. Shutterstock 팀은 기술적 트리아지를 가속화하는 것뿐만 아니라 장애 시간을 늘리는 조율, 리포팅, 가시성의 공백을 줄여 평균 탐지 시간(MTTD)과 평균 해결 시간(MTTR)을 낮출 수 있는 솔루션이 필요했습니다.
Vibe OnCall로 해결한 방식
Vibe OnCall을 Shutterstock의 장애 운영 워크플로우에 통합함으로써, Shutterstock은 탐지, 트리아지, 조율, 리포팅 전반의 장애 관리 과정을 자동화했습니다. Vibe OnCall은 실시간 AI Incident Commander로 작동하며, 이벤트 데이터를 지속적으로 분석하고 시스템 전반의 신호를 연결해 더 빠른 Tier 1 트리아지와 에스컬레이션을 지원하는 실행 가능한 인사이트를 제공했습니다.
Vibe OnCall은 전체 장애 라이프사이클 전반에서 지속적으로 작동했습니다. PagerDuty 장애를 감지하고, Slack의 장애 관련 신호와 대화를 모니터링하며, 적절한 팀으로 에스컬레이션을 라우팅했습니다. 또한 Backstage에서 서비스 소유권과 의존성 컨텍스트를 가져와 영향을 받은 서비스와 상하위 팀을 식별하고, 대응 담당자가 Jira를 통해 관련 액션 아이템을 직접 관리할 수 있도록 했습니다. Vibe OnCall은 Confluence의 런북과 운영 가이드를 참조해 관련 다음 단계를 추천하고, 알림, 로그, 대화, 과거 장애 데이터를 하나의 지속적으로 업데이트되는 뷰로 연결했습니다.
Vibe OnCall은 근본 원인, 대응 타임라인, 오너십, 다음 단계를 담은 경영진용 장애 리포트를 자동으로 생성했습니다. 이를 통해 반복적인 수동 업데이트의 필요성을 줄이는 동시에, 리더들이 신뢰할 수 있는 실시간 장애 상태 뷰를 제공했습니다.
Vibe OnCall은 장애 대응을 수동 조율 중심에서 실시간 AI 기반 Incident Command 방식으로 전환했습니다.
프리미엄 파트너십 서비스
Vibranium 팀은 Shutterstock과 긴밀히 협력하여 Vibe OnCall이 대규모 글로벌 분산 조직에서 실제 장애 대응이 이루어지는 방식에 맞게 작동하도록 조정했습니다. 새로운 도구나 프로세스를 추가하기보다, Vibe OnCall은 Shutterstock의 기존 시스템과 커뮤니케이션 채널에 직접 통합되었습니다.
반복적으로 발생하던 문제 중 하나는 필요한 컨텍스트가 이미 알림, Slack 대화, 브리지 콜 전반에 존재함에도 불구하고, 엔지니어와 Incident Commander가 대응 중간에 티켓을 생성하거나 업데이트해야 한다는 점이었습니다. 이에 따라 Vibe OnCall은 Shutterstock의 워크플로우 안에서 장애 티켓을 자동으로 생성하고 업데이트하도록 설계되었으며, 신호, 오너십, 타임라인, 주요 결정과 같은 실시간 컨텍스트를 티켓에 함께 반영했습니다.
이 협업은 운영상의 불편함을 확장 가능한 개선으로 전환한 실제 파트너십이었습니다. 지속적인 피드백은 적절한 런북 식별, 에스컬레이션 경로 개선, 과거 패턴 노출, 과거 장애를 기반으로 한 tabletop exercise 지원 등 목표 지향적인 개선을 빠르게 이끌었습니다. Vibe OnCall은 엔지니어에게는 더 직관적인 장애 대응을, Incident Commander에게는 더 효과적인 조율을, 경영진에게는 더 투명한 가시성을 제공했습니다.
