글 모음
개발

평균 200ms 뒤에 숨은 2.4초

평균 200ms와 최대 1,260 TPS를 기록한 결제 API를 합격시켜도 될까요? 예시 데이터와 시뮬레이션으로 p99, 오류율, 부하 모델이 보고서의 판단을 어떻게 바꾸는지 설명합니다.

결제 API의 출시 전 성능테스트 보고서에 다음 두 줄이 적혀 있다고 가정해 보겠습니다.

항목 목표 결과
평균 응답시간 300ms 이하 200ms (합격)
최대 TPS (초당 처리한 요청 수) 1,000 이상 1,260 (합격)

목표를 모두 통과했습니다. 이 보고서만으로 사용자가 오래 기다리지 않고 결제를 마칠 수 있다고 판단해도 될까요? 평균이 200ms여도 일부 요청은 2초 넘게 걸릴 수 있고, 최대 TPS에는 실패한 요청까지 들어 있을 수 있습니다.

보고서에서 빠진 정보를 예시 데이터로 채워 보겠습니다. 먼저 같은 평균 안에 숨어 있는 느린 요청을 보고, 처리량을 늘릴 때 응답시간과 오류가 어떻게 바뀌는지 살펴봅니다. 마지막에는 요청을 보내는 방식과 표본 수까지 확인해, 합격을 판단할 수 있는 보고서로 바꿉니다. 아래 숫자는 실제 결제 서비스의 측정값이 아닌 예시와 시뮬레이션 결과입니다.

평균이 같아도 사용자가 겪는 시간은 다릅니다

요청 100건의 응답시간을 모두 더해 100으로 나누면 평균이 됩니다. 서비스 A와 B는 이 값이 모두 200ms인 예시입니다. 점 하나를 요청 한 건으로 그려 보면, 같은 평균을 만드는 두 가지 모양이 보입니다. 가로축은 요청이 끝난 시각, 세로축은 응답시간이고, 초록 선은 그때까지 끝난 요청의 평균입니다.

같은 평균을 가진 두 서비스의 응답시간 산점도 (요청 100건, 예시 데이터)

두 초록 선은 모두 200ms로 끝납니다. A의 요청은 평균 근처에 모여 있지만, B는 96건이 200ms보다 빠르고 4건만 2초를 넘습니다. B의 평균은 이 두 무리를 섞은 값이라서, 개별 요청이 얼마나 기다렸는지 설명하기 어렵습니다.

응답시간 기준을 500ms로 정하면 A는 모든 요청이 통과하고 B는 4건이 벗어납니다. B에서는 요청 25건 중 한 건꼴로 기준을 넘은 셈이에요. 요청 한 건이 사용자 한 명을 뜻하지는 않으므로, 이 비율을 그대로 느린 사용자의 비율로 읽을 수는 없습니다. 우선 필요한 것은 평균 옆에서 느린 요청의 크기를 보여줄 값입니다.

느린 쪽은 백분위수(percentile)로 봅니다

백분위수(percentile)는 요청을 빠른 순서로 세워 특정 위치의 응답시간을 읽는 값입니다. p99는 요청의 99%가 끝나는 시간의 경계이고, 요청 100건에서는 99번째 값이에요. p50은 가운데, p95는 95번째를 봅니다. 여기서는 순번으로 고르는 방식(nearest rank)을 쓰며, 측정 도구의 보간 방식에 따라 값은 조금 달라질 수 있습니다.

서비스 B의 요청 100건을 빠른 순서로 세워서 p50, p95, p99를 짚어 보겠습니다.

서비스 B의 요청 100건을 빠른 순서로 세운 모양 (예시 데이터)

마지막 네 막대가 느린 요청입니다. p95의 위치는 그 앞이어서 186ms로 나오고, p99는 느린 무리 안에 들어가 2,421ms가 됩니다. 이 예시에서는 p95만 추가해도 2초 넘는 요청을 놓칩니다. 분포의 느린 끝부분을 ‘꼬리’라고 부르는데, 얼마나 끝까지 보느냐에 따라 이 꼬리가 숫자에 나타나는지가 달라집니다.

A와 B를 숫자로 나란히 놓으면 이렇습니다.

응답시간 서비스 A 서비스 B
평균 200ms 200ms
p50 194ms 105ms
p95 297ms 186ms
p99 340ms 2,421ms
최대 379ms 2,527ms
500ms 넘는 요청 0건 4건

B의 p50은 A보다 낮습니다. 대부분의 요청은 더 빠르지만, 느린 쪽을 나타내는 p99는 약 7배예요. 평균이 같은 두 서비스라도 평소 응답과 오래 걸리는 응답을 나눠 보면 차이가 드러납니다.

같은 이야기는 Google의 SRE 책에도 나옵니다. 초당 1,000건을 처리하고 평균이 100ms인 서비스에서도 요청 1%는 5초가 걸릴 수 있다는 예인데요. 그 경우 나머지 99%의 평균은 (100 − 0.01 × 5,000) ÷ 0.99, 약 50.5ms입니다. 평균 하나로는 이 두 집단이 한 덩어리로 섞여 보입니다.

화면이 여러 응답을 기다리면 느린 요청을 더 자주 만납니다

요청 하나의 꼬리가 사용자에게 얼마나 자주 보이는지는 화면이 기다리는 요청 수에도 달려 있습니다. 결제 화면이 주문, 할인, 배송비 등의 응답을 모두 받은 뒤 다음 단계로 넘어간다고 가정해 보죠. 그중 한 요청이라도 느리면 화면 전체가 기다립니다.

호출 하나가 느릴 확률이 1%이고 호출끼리 서로 영향을 주지 않는다고 가정하면, 호출이 N개일 때 하나라도 느릴 확률은 1 − 0.99^N입니다. 호출이 1개면 1%, 10개면 9.6%, 100개면 63.4%예요.

화면 100번을 열었을 때 느린 화면의 기댓값 (호출 하나가 느릴 확률 1%, 기댓값으로 칠한 모식도)

빨간 칸은 느린 요청을 하나 이상 만나는 화면의 기댓값입니다. 호출 100개를 기다리는 조건에서는 100번 중 약 63번이 여기에 해당합니다. 호출 하나에서는 드문 지연이어도, 여러 응답을 모두 기다리는 화면에서는 흔한 지연이 될 수 있어요.

Jeffrey Dean과 Luiz André Barroso의 The Tail at Scale(2013)도 서버 100대의 응답을 병렬로 모으는 예로 같은 문제를 설명합니다. 위 계산에는 호출끼리 독립이고, 화면이 모든 응답을 기다린다는 조건이 있습니다. 실제 호출은 같은 DB나 자원을 공유할 수 있고, 화면 일부를 먼저 보여줄 수도 있으므로 서비스의 호출 수만 대입해 지연 비율을 단정할 수는 없습니다. 화면의 응답시간도 따로 재야 하는 이유입니다.

TPS는 멈춰도 기다리는 시간은 계속 늡니다

응답시간의 분포를 확인했으면, 처리량 목표를 달성하는 동안에도 그 분포가 유지되는지 봐야 합니다. 여기서 TPS는 초당 완료한 요청 수입니다. 이번 시험에서는 가상 사용자(VU, Virtual User)를 늘려 부하를 높입니다. VU 하나는 요청을 보내고 응답을 받은 뒤 1초 쉬는 일을 반복합니다.

서버는 요청을 한 번에 하나씩 처리하고, 요청당 처리시간은 평균 0.8ms인 난수로 만들었습니다. 평균 처리시간으로 계산한 처리 한도는 약 1,250 TPS입니다. 이 단일 서버 시뮬레이션에서 VU를 125부터 2,500까지 늘려 TPS와 응답시간을 비교했습니다.

VU를 늘렸을 때의 TPS와 응답시간 (단일 서버 시뮬레이션, 예시 값)

위쪽 TPS 곡선이 평평해지기 시작할 때, 아래쪽 응답시간 곡선은 올라갑니다. VU 1,250에서는 1,225 TPS에 p99 65ms였지만, VU를 두 배로 늘리면 1,262 TPS에 p99 1,074ms가 됩니다. 처리량은 약 3% 늘고 느린 응답은 약 16배 길어진 셈입니다. 서버의 처리 한도를 넘어서 들어온 요청이 줄을 서기 때문이에요.

이 모델이 안정된 상태에서는 VU 수가 대략 TPS × (평균 응답시간 + 쉬는 시간)이 됩니다. VU 2,500인 지점에 대입하면 1,262 × (0.98초 + 1초) ≈ 2,500입니다. TPS가 한도에 묶이고 쉬는 시간이 고정돼 있으니, 늘어난 VU는 응답을 기다리는 시간으로 남습니다.

그래서 TPS 하나로는 서버가 한계 안에서 일하는지 줄을 세우고 있는지 알 수 없습니다. 1,225와 1,262는 거의 같은 TPS인데 p99는 65ms와 1,074ms입니다. TPS는 그때의 p99와 같이 적어야 뜻이 생겨요. 이 예시에서는 ‘VU 1,750까지 p99 460ms, TPS 1,261’처럼요. VU 1,875에서는 p99가 560ms가 되어 500ms를 넘습니다.

오류가 빨리 돌아오면 평균도 TPS도 좋아집니다

TPS에 어떤 요청을 셌는지도 확인해야 합니다. 성공은 200ms 걸리지만 오류는 10ms 만에 돌아오는 서버를 가정해 보겠습니다. 처리 전에 요청을 거절하면 이런 모양이 나올 수 있습니다. 반대로 타임아웃처럼 늦게 돌아오는 오류도 있으므로, 모든 오류가 빠르다는 뜻은 아닙니다.

앞 절의 줄을 서는 서버와 별개의 모델입니다. 서버는 요청을 동시에 처리할 수 있고, VU 180개는 쉬지 않고 다음 요청을 보냅니다. 그러면 TPS는 180 ÷ 평균 응답시간(초)입니다. 오류가 없을 때는 180 ÷ 0.2 = 900 TPS인데, 빠른 오류의 비율을 늘리면 어떻게 바뀔까요?

오류 응답 비율을 올렸을 때의 지표 변화 (VU 180개, 성공 200ms, 오류 10ms 가정)

오류가 20%일 때 평균은 162ms, 전체 TPS는 1,111입니다. 처음 보고서의 목표를 모두 통과하지만, 성공한 요청만 세면 889 TPS로 오류가 없을 때의 900보다 줄었습니다. 요청 다섯 건 중 한 건이 실패하고도 두 숫자는 좋아진 거예요. 보고서에는 오류율과 성공한 요청의 처리량을 함께 적고, 성공 응답의 시간도 별도로 봐야 합니다.

측정 도구가 느린 구간을 건너뛰기도 합니다

오류를 분리하고 p99를 추가해도, 시험이 느린 동안 요청을 줄였다면 실제보다 가벼운 부하를 잰 것일 수 있습니다. 다음 두 모델은 서버가 느려질 때 새 요청을 보내는 방식이 다릅니다.

  • 응답 대기 방식(closed model): 응답을 받은 뒤에 다음 요청을 보냅니다. 앞에서 본 VU 시험이 이 방식이에요.
  • 시각 고정 방식(open model): 응답과 상관없이 정해진 시각에 요청을 보냅니다. 초당 10건이면 0.1초마다요.

k6 문서도 두 방식을 구분합니다. constant-vus는 응답 대기 방식이고 constant-arrival-rate와 ramping-arrival-rate는 시각 고정 방식이에요. 문서는 응답 대기 방식에서 서버가 느려지면 새 요청이 줄어서, 서버가 받는 부하가 함께 줄어든다고 설명합니다.

30초 시험 중 10초부터 15초까지 서버가 5초 멈춘다고 가정해 보겠습니다. 목표는 초당 10건이고, 정상일 때 응답은 50ms입니다. 같은 서버를 두 방식으로 재면 어떻게 다를까요?

같은 5초 멈춤을 두 방식으로 잰 결과 (모델로 계산한 예시, 막대 하나 = 요청 1건)

위쪽은 응답을 기다리는 동안 다음 요청을 보내지 않습니다. 10초에 보낸 한 건은 5초 넘게 걸리지만, 초당 10건을 유지했다면 도착했을 나머지 49건은 기록되지 않아요. 아래쪽은 서버가 멈춰도 요청을 계속 보내므로 50건의 지연이 남습니다.

이 차이로 p99가 50ms와 4,750ms로 갈립니다. 응답 대기 방식의 결과에는 최대값 5,050ms에만 멈춤의 흔적이 남습니다. 결제 요청이 기존 요청의 완료 여부와 상관없이 도착하는 상황을 시험하려면, 도착률을 유지하는 모델이 그 조건에 더 가깝습니다.

이처럼 느린 동안 측정할 요청도 함께 줄어 지연이 빠지는 문제를 coordinated omission이라고 부릅니다. Gil Tene의 wrk2는 요청이 나갔어야 할 시각을 기준으로 응답시간을 재서 보정합니다. 사용자 수가 고정되고 각 사용자가 응답 뒤에 다음 행동을 하는 상황에는 응답 대기 모델이 적합할 수 있습니다. 시험하려는 사용 방식에 맞춰 모델을 고르고 보고서에 적어야 합니다. 그림은 차이를 설명하는 단순 모델이며, 실제 도구가 밀린 요청을 처리하는 동작까지 재현한 것은 아닙니다.

p99도 요청이 적으면 흔들립니다

p99를 합격 기준으로 쓸 때는 표본 수가 필요합니다. 여기서 쓰는 계산 방식에서는 요청 100건의 p99가 두 번째로 느린 요청입니다. 시험에 느린 요청이 한 건만 들어오면, 그 한 건이 p99 바깥으로 빠집니다.

느린 요청이 나올 확률을 서비스 B와 같은 4%로 두고, 요청 수를 100건, 1,000건, 10,000건으로 바꿨습니다. 각 조건에서 200번 시뮬레이션한 결과이며, 점 하나는 시험 한 번의 p99입니다.

같은 서비스를 요청 수만 바꿔 200번씩 잰 p99 (시뮬레이션)

요청 100건일 때는 시험 200번 중 22번의 p99가 500ms 아래(200~300ms 안팎)로 나왔습니다. 느린 요청이 한 건 이하였던 시험이에요. 계산으로도 100건 중 느린 요청이 1건 이하일 확률이 8.7%라서, 200번이면 17번 안팎이 나옵니다. 1,000건에서는 이런 시험이 한 번도 없었고, 10,000건에서는 값이 좁은 띠로 모였어요.

이 결과가 1,000건이면 언제나 충분하다는 기준은 아닙니다. 더 드문 지연을 보려면 더 많은 표본이 필요합니다. p99와 함께 요청 수, 측정 시간, 반복 결과를 적어야 한 번의 좋은 값에 합격 판단이 매달리지 않습니다.

보고서에는 이렇게 적습니다

처음 보고서에는 응답시간의 분포, 성공 여부, 측정 조건이 없었습니다. 각 항목을 추가하면 숫자가 무엇을 설명하는지 확인할 수 있습니다.

적을 것 이유
부하를 거는 방식, VU 수 또는 초당 요청 수 같은 서버도 방식에 따라 느린 구간이 숫자에서 사라집니다.
평균, p50, p95, p99, 최대 평소 응답과 느린 응답을 함께 봅니다.
요청 수, 측정 시간, 반복 결과 요청이 적거나 특정 구간만 재면 p99를 잘못 판단할 수 있습니다.
오류율, 성공 TPS, 성공 응답의 응답시간 빠른 오류를 성공 처리량으로 읽지 않도록 분리합니다.
TPS와 그때의 p99 TPS가 멈춘 뒤에도 응답시간은 늘 수 있습니다.
화면 하나가 부르는 호출 수 호출이 많을수록 느린 요청을 만날 확률이 커집니다.

서버가 여러 대이거나 시간을 나눠서 잴 때는 p99끼리 평균을 내지 않습니다. 요청 900건이 모두 100ms인 서버와 요청 100건이 모두 1,000ms인 서버의 p99는 100ms와 1,000ms예요. 둘의 평균은 550ms지만 1,000건을 합쳐서 구한 p99는 1,000ms입니다. 원본 응답시간이나 구간별 히스토그램을 합친 다음에 다시 계산해야 합니다.

합격 기준에는 부하와 응답시간, 오류 조건을 함께 둡니다. 예를 들어 ‘정해진 도착률을 유지하는 동안 성공 TPS 1,000 이상, 성공 응답 p99 500ms 이하, 오류율은 목표 이하’처럼 적습니다. 평균도 함께 기록하되, 평균만으로 느린 요청을 통과시키지 않는 기준입니다. 500ms는 설명용 값이며 실제 기준은 서비스에서 필요한 대기시간과 성공률에 맞춰 정해야 합니다.

평균 200ms만으로는 합격을 결정할 수 없습니다

처음 결제 API의 보고서로 돌아오면, 평균 200ms와 최대 1,260 TPS만으로는 출시 여부를 결정할 정보가 부족합니다. 목표 처리량을 내는 같은 구간에서 성공 응답의 p99와 오류율을 확인하고, 그 결과가 어떤 부하 모델과 몇 건의 요청에서 나왔는지 적어야 합니다. 최대 처리량을 낸 시험과 가장 빠른 시험의 숫자를 따로 골라 한 줄로 합쳐서도 안 됩니다.

본문의 예시들은 보고서에서 놓칠 수 있는 서로 다른 조건을 보여줍니다. 실제 서비스가 어느 조건에 해당하는지는 직접 재야 합니다. 결제 한 건이 여러 응답을 기다린다면 화면의 대기시간도 함께 보고, p99보다 드문 지연이 중요하다면 표본을 확보해 p99.9까지 살펴볼 수 있습니다. 보고서가 답해야 할 질문은 정해진 부하에서 얼마나 많은 요청이 성공하고, 그 요청들이 얼마나 기다렸느냐입니다.