Marathon ServiceRunning Record ServiceAI AssistantCourse Recommendation AICrew ServiceNotification ConsumerCommunity FeedPayment Gateway
AI 진단 초안 (생성형 LLM)
Loki 실측 신호를 근거로 Bedrock LLM이 그 자리에서 작성 — 학습된 이상탐지 모델이 아닌 초안입니다
"초안 생성"을 누르면 이 서비스의 최근 로그를 모아 LLM에게 진단을 요청합니다. 결과는 다시 분석하기 전까지 계속 보입니다.
inc-20260802-001 · 12분 전 · 담당 Backend Platform팀 · 영향 사용자 ~582명
Marathon Service p95가 270ms에서 3109ms로 증가했습니다. DB connection pool 포화와 요청량 급증이 동시에 감지되었습니다. 최근 배포와의 상관관계는 낮으며, capacity saturation이 1순위 원인입니다.
② 어떤 근거로 탐지했는가
- 1.요청량이 40분 전 대비 2.8배 증가했습니다.
- 2.DB Pool 사용률이 99%입니다.
- 3.p95가 270ms에서 3109ms로 상승했습니다.
- 4.가장 많은 오류는 Connection acquisition timeout입니다.
④ 무엇을 해야 하는가
- Marathon Service Pod를 4개에서 6개로 확장
- Pod당 DB Pool 최댓값 점검
- 전체 DB Connection 상한 초과 여부 확인
③ AI 신뢰도에 반대되는 근거 (이상 점수 91 · 신뢰도 91%)
- 동일 시간대 다른 서비스에서도 트래픽 증가가 관측되어 계절성(이벤트성 유입)일 가능성도 있습니다.
예상 회복 효과: Pod를 6개로 확장하면 DB Pool 대기가 해소되며 p95가 SLO(800ms) 이내로 복귀할 것으로 예상됩니다.
RPS 78.1 (예상 27.8)p95 3109ms오류율 0.4%DB Pool 99%Pod 4 → 6