Что такое задержка P99?

Что представляет собой задержка P99? Я все время слышу об этом в обсуждениях производительности приложений, но не могу найти в Интернете ресурса, который бы говорил об этом.

Это 99-й процентиль . Это означает, что 99% запросов должны быть быстрее, чем заданная задержка. Другими словами, только 1% запросов может быть медленнее.

Мы можем объяснить это с помощью аналогии: если 100 учеников участвуют в забеге, то 99 учеников должны завершить забег за «латентное» время.

Представьте, что вы собираете данные о производительности своего сервиса, а в таблице ниже собраны результаты (значения задержки являются вымышленными, чтобы проиллюстрировать идею).

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

Задержка P99 вашего сервиса составляет 7 с. Только 1% запросов занимает больше времени. Итак, если вы можете уменьшить задержку P99 вашего сервиса, вы увеличите его производительность.

Возьмем пример отсюда

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

Таким образом, мы можем сказать, что для 99 процентов веб-запросов обнаруженная задержка составила 1,3 мс (мс / микросекунды зависит от настроенных мер задержки в вашей системе) или ниже. Как сказал @tranmq, если мы уменьшим задержку службы P99, мы сможем повысить ее производительность.

И также стоит отметить p95, поскольку из-за небольшого количества запросов p99 может быть дороже, чем p95, например) начальные запросы, которые создают кеш, разогревают объекты класса, инициализируют потоки ...

В заключение; в наших измерениях может быть примерно 1% шума (например, перегрузка сети, сбои в работе, ухудшение качества обслуживания), поэтому задержка p99 является хорошим представителем практически наихудшего случая. И почти всегда наша цель - уменьшить задержку p99.