Как рассчитать процентили с помощью python / numpy?

214

Есть ли удобный способ для вычисления процентилей для последовательности или одномерного массива numpy?

Я ищу что-то похожее на функцию процентиля Excel.

Я посмотрел статистический справочник NumPy и не смог его найти. Все, что я мог найти, это медиана (50-й процентиль), но не что-то более конкретное.

python  numpy  statistics  numpy-ndarray  percentile 
— Uri
источник
Соответствующий вопрос по вычислению процентилей по частотам: stackoverflow.com/questions/25070086/…
— newtover

Ответы:

283

Возможно, вас заинтересует пакет SciPy Stats . Он имеет функцию процентиля, за которой вы работаете, и много других полезных статистических данных.

percentile() доступно в numpyтоже.

import numpy as np
a = np.array([1,2,3,4,5])
p = np.percentile(a, 50) # return 50th percentile, e.g median.
print p
3.0

Этот билет заставляет меня полагать, что они не будут объединяться percentile()в NumPy в ближайшее время.

— Джон У
источник
2
Спасибо! Так вот где он прячется. Я знал о scipy, но я предполагаю, что простые вещи, такие как процентили, будут превращены в numpy.
— Ури
16
К настоящему времени в numpy существует процентильная функция: docs.scipy.org/doc/numpy/reference/generated/…
— Anaphory
1
Вы также можете использовать его как функцию агрегирования, например, для вычисления десятого процентиля каждой группы столбца значений по ключу, используйтеdf.groupby('key')[['value']].agg(lambda g: np.percentile(g, 10))
— patricksurry
1
Обратите внимание, что SciPy рекомендует использовать np.percentile для NumPy 1.9 и выше
— timdiels
73

Между прочим, существует чистая Python-реализация функции процентиля , на случай, если кто-то не хочет зависеть от scipy. Функция скопирована ниже:

## {{{ http://code.activestate.com/recipes/511478/ (r1)
import math
import functools

def percentile(N, percent, key=lambda x:x):
    """
    Find the percentile of a list of values.

    @parameter N - is a list of values. Note N MUST BE already sorted.
    @parameter percent - a float value from 0.0 to 1.0.
    @parameter key - optional key function to compute value from each element of N.

    @return - the percentile of the values
    """
    if not N:
        return None
    k = (len(N)-1) * percent
    f = math.floor(k)
    c = math.ceil(k)
    if f == c:
        return key(N[int(k)])
    d0 = key(N[int(f)]) * (c-k)
    d1 = key(N[int(c)]) * (k-f)
    return d0+d1

# median is 50th percentile.
median = functools.partial(percentile, percent=0.5)
## end of http://code.activestate.com/recipes/511478/ }}}
— Борис Горелик
источник
54
Я автор вышеуказанного рецепта. Комментатор в ASPN указал, что в исходном коде есть ошибка. Формула должна быть d0 = key (N [int (f)]) * (ck); d1 = ключ (N [int (c)]) * (kf). Это было исправлено на ASPN.
— Вай Ип Тунг
1
Как percentileузнать, что использовать для N? Это не указано в вызове функции.
— Ричард
14
для тех, кто даже не читал код, перед его использованием N должен быть отсортирован
— Кевин
Я смущен лямбда-выражением. Что это делает и как это делает? Я знаю, что такое лямбда-выражение, поэтому я не спрашиваю, что такое лямбда-выражение. Я спрашиваю, что делает это конкретное лямбда-выражение и как оно это делает, шаг за шагом? Спасибо!
— dsanchez
Лямбда-функция позволяет преобразовать данные Nперед вычислением процентиля. Допустим, у вас есть список кортежей, N = [(1, 2), (3, 1), ..., (5, 1)]и вы хотите получить процентиль первого элемента кортежей, а затем выбираете key=lambda x: x[0]. Вы также можете применить некоторые (изменяющие порядок) преобразования к элементам списка перед вычислением процентиля.
— Элиас
26 
import numpy as np
a = [154, 400, 1124, 82, 94, 108]
print np.percentile(a,95) # gives the 95th percentile
— Richie
источник
19

Вот как это сделать без numpy, используя только python для вычисления процентиля.

import math

def percentile(data, percentile):
    size = len(data)
    return sorted(data)[int(math.ceil((size * percentile) / 100)) - 1]

p5 = percentile(mylist, 5)
p25 = percentile(mylist, 25)
p50 = percentile(mylist, 50)
p75 = percentile(mylist, 75)
p95 = percentile(mylist, 95)
— Ashkan
источник
2
Да, вы должны отсортировать список раньше: mylist = sorted (...)
— Ашкан
12

Определение процентиля, которое я обычно вижу, ожидает в результате значение из предоставленного списка, ниже которого найден P-процент значений ... что означает, что результат должен быть из набора, а не интерполяция между элементами набора. Чтобы получить это, вы можете использовать более простую функцию.

def percentile(N, P):
    """
    Find the percentile of a list of values

    @parameter N - A list of values.  N must be sorted.
    @parameter P - A float value from 0.0 to 1.0

    @return - The percentile of the values.
    """
    n = int(round(P * len(N) + 0.5))
    return N[n-1]

# A = (1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
# B = (15, 20, 35, 40, 50)
#
# print percentile(A, P=0.3)
# 4
# print percentile(A, P=0.8)
# 9
# print percentile(B, P=0.3)
# 20
# print percentile(B, P=0.8)
# 50

Если вы предпочитаете получить значение из предоставленного списка, в котором или ниже которого найден P-процент значений, используйте эту простую модификацию:

def percentile(N, P):
    n = int(round(P * len(N) + 0.5))
    if n > 1:
        return N[n-2]
    else:
        return N[0]

Или с упрощением, предложенным @ijustlovemath:

def percentile(N, P):
    n = max(int(round(P * len(N) + 0.5)), 2)
    return N[n-2]
— mpounsett
источник
спасибо, я также ожидаю, что процентиль / медиана приведут к фактическим значениям из наборов, а не интерполяций
— hansaplast
1
Привет @mpounsett. Спасибо за верхний код. Почему ваш процентиль всегда возвращает целочисленные значения? Функция процентиля должна возвращать N-й процентиль списка значений, и это также может быть числом с плавающей запятой. Например, Excel PERCENTILEфункция возвращает следующие процентили для верхних примеров: 3.7 = percentile(A, P=0.3), 0.82 = percentile(A, P=0.8), 20 = percentile(B, P=0.3), 42 = percentile(B, P=0.8).
— Марко
1
Это объясняется в первом предложении. Более распространенное определение процентиля состоит в том, что это число в ряду, ниже которого находятся P процентов значений в ряду. Так как это порядковый номер элемента в списке, он не может быть плавающим.
— mpounsett
Это не работает для 0-го процентиля. Возвращает максимальное значение. Быстрое исправление было бы заключаться в том, чтобы обернуть n = int(...)в max(int(...), 1)функцию
— ijustlovemath
Чтобы уточнить, вы имеете в виду во втором примере? Я получаю 0, а не максимальное значение. Ошибка на самом деле в предложении else .. Я напечатал номер индекса, а не значение, которое я намеревался. Обертывание присваивания 'n' в вызове max () также исправило бы это, но вы бы хотели, чтобы второе значение было 2, а не 1. Затем вы могли бы исключить всю структуру if / else и просто напечатать результат N [п-2]. 0-й процентиль отлично работает в первом примере, возвращая «1» и «15» соответственно.
— mpounsett
8

Начиная Python 3.8, стандартная библиотека поставляется с quantilesфункцией как часть statisticsмодуля:

from statistics import quantiles

quantiles([1, 2, 3, 4, 5], n=100)
# [0.06, 0.12, 0.18, 0.24, 0.3, 0.36, 0.42, 0.48, 0.54, 0.6, 0.66, 0.72, 0.78, 0.84, 0.9, 0.96, 1.02, 1.08, 1.14, 1.2, 1.26, 1.32, 1.38, 1.44, 1.5, 1.56, 1.62, 1.68, 1.74, 1.8, 1.86, 1.92, 1.98, 2.04, 2.1, 2.16, 2.22, 2.28, 2.34, 2.4, 2.46, 2.52, 2.58, 2.64, 2.7, 2.76, 2.82, 2.88, 2.94, 3.0, 3.06, 3.12, 3.18, 3.24, 3.3, 3.36, 3.42, 3.48, 3.54, 3.6, 3.66, 3.72, 3.78, 3.84, 3.9, 3.96, 4.02, 4.08, 4.14, 4.2, 4.26, 4.32, 4.38, 4.44, 4.5, 4.56, 4.62, 4.68, 4.74, 4.8, 4.86, 4.92, 4.98, 5.04, 5.1, 5.16, 5.22, 5.28, 5.34, 5.4, 5.46, 5.52, 5.58, 5.64, 5.7, 5.76, 5.82, 5.88, 5.94]
quantiles([1, 2, 3, 4, 5], n=100)[49] # 50th percentile (e.g median)
# 3.0

quantilesвозвращает для данного распределения distсписок n - 1точек разреза, разделяющих nквантильные интервалы (деление distна nнепрерывные интервалы с равной вероятностью):

statistics.quantiles (dist, *, n = 4, method = 'exclusive')

где nв нашем случае ( percentiles) есть 100.

— Ксавье Гихот
источник
2

Чтобы рассчитать процентиль ряда, запустите:

from scipy.stats import rankdata
import numpy as np

def calc_percentile(a, method='min'):
    if isinstance(a, list):
        a = np.asarray(a)
    return rankdata(a, method=method) / float(len(a))

Например:

a = range(20)
print {val: round(percentile, 3) for val, percentile in zip(a, calc_percentile(a))}
>>> {0: 0.05, 1: 0.1, 2: 0.15, 3: 0.2, 4: 0.25, 5: 0.3, 6: 0.35, 7: 0.4, 8: 0.45, 9: 0.5, 10: 0.55, 11: 0.6, 12: 0.65, 13: 0.7, 14: 0.75, 15: 0.8, 16: 0.85, 17: 0.9, 18: 0.95, 19: 1.0}
— Рой Бахуми
источник
1

Если вам нужен ответ, чтобы быть членом входного массива numpy:

Просто добавим, что функция процентиля в numpy по умолчанию вычисляет выход как линейное средневзвешенное значение двух соседних записей во входном векторе. В некоторых случаях люди могут захотеть, чтобы возвращаемый процентиль был фактическим элементом вектора, в этом случае, начиная с версии 1.9.0, вы можете использовать опцию «интерполяция» с «ниже», «выше» или «ближе».

import numpy as np
x=np.random.uniform(10,size=(1000))-5.0

np.percentile(x,70) # 70th percentile

2.075966046220879

np.percentile(x,70,interpolation="nearest")

2.0729677997904314

Последняя является действительной записью в векторе, тогда как первая представляет собой линейную интерполяцию двух векторных записей, граничащих с процентилем

— Адриан Томпкинс
источник
0

для серии: используются описания функций

предположим, у вас есть df со следующими колонками sales и id. Вы хотите рассчитать процентили для продаж, тогда это работает так,

df['sales'].describe(percentiles = [0.0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1])

0.0: .0: minimum
1: maximum 
0.1 : 10th percentile and so on
— Ashwini
источник
0

Удобный способ вычислить процентили для одномерной последовательности или матрицы numpy с помощью numpy.percentile < https://docs.scipy.org/doc/numpy/reference/generated/numpy.percentile.html >. Пример:

import numpy as np

a = np.array([0,1,2,3,4,5,6,7,8,9,10])
p50 = np.percentile(a, 50) # return 50th percentile, e.g median.
p90 = np.percentile(a, 90) # return 90th percentile.
print('median = ',p50,' and p90 = ',p90) # median =  5.0  and p90 =  9.0

Однако, если в ваших данных есть какое-либо значение NaN, вышеуказанная функция не будет полезна. В этом случае рекомендуется использовать функцию numpy.nanpercentile < https://docs.scipy.org/doc/numpy/reference/generated/numpy.nanpercentile.html >:

import numpy as np

a_NaN = np.array([0.,1.,2.,3.,4.,5.,6.,7.,8.,9.,10.])
a_NaN[0] = np.nan
print('a_NaN',a_NaN)
p50 = np.nanpercentile(a_NaN, 50) # return 50th percentile, e.g median.
p90 = np.nanpercentile(a_NaN, 90) # return 90th percentile.
print('median = ',p50,' and p90 = ',p90) # median =  5.5  and p90 =  9.1

В двух представленных выше вариантах вы все равно можете выбрать режим интерполяции. Следуйте приведенным ниже примерам для облегчения понимания.

import numpy as np

b = np.array([1,2,3,4,5,6,7,8,9,10])
print('percentiles using default interpolation')
p10 = np.percentile(b, 10) # return 10th percentile.
p50 = np.percentile(b, 50) # return 50th percentile, e.g median.
p90 = np.percentile(b, 90) # return 90th percentile.
print('p10 = ',p10,', median = ',p50,' and p90 = ',p90)
#p10 =  1.9 , median =  5.5  and p90 =  9.1

print('percentiles using interpolation = ', "linear")
p10 = np.percentile(b, 10,interpolation='linear') # return 10th percentile.
p50 = np.percentile(b, 50,interpolation='linear') # return 50th percentile, e.g median.
p90 = np.percentile(b, 90,interpolation='linear') # return 90th percentile.
print('p10 = ',p10,', median = ',p50,' and p90 = ',p90)
#p10 =  1.9 , median =  5.5  and p90 =  9.1

print('percentiles using interpolation = ', "lower")
p10 = np.percentile(b, 10,interpolation='lower') # return 10th percentile.
p50 = np.percentile(b, 50,interpolation='lower') # return 50th percentile, e.g median.
p90 = np.percentile(b, 90,interpolation='lower') # return 90th percentile.
print('p10 = ',p10,', median = ',p50,' and p90 = ',p90)
#p10 =  1 , median =  5  and p90 =  9

print('percentiles using interpolation = ', "higher")
p10 = np.percentile(b, 10,interpolation='higher') # return 10th percentile.
p50 = np.percentile(b, 50,interpolation='higher') # return 50th percentile, e.g median.
p90 = np.percentile(b, 90,interpolation='higher') # return 90th percentile.
print('p10 = ',p10,', median = ',p50,' and p90 = ',p90)
#p10 =  2 , median =  6  and p90 =  10

print('percentiles using interpolation = ', "midpoint")
p10 = np.percentile(b, 10,interpolation='midpoint') # return 10th percentile.
p50 = np.percentile(b, 50,interpolation='midpoint') # return 50th percentile, e.g median.
p90 = np.percentile(b, 90,interpolation='midpoint') # return 90th percentile.
print('p10 = ',p10,', median = ',p50,' and p90 = ',p90)
#p10 =  1.5 , median =  5.5  and p90 =  9.5

print('percentiles using interpolation = ', "nearest")
p10 = np.percentile(b, 10,interpolation='nearest') # return 10th percentile.
p50 = np.percentile(b, 50,interpolation='nearest') # return 50th percentile, e.g median.
p90 = np.percentile(b, 90,interpolation='nearest') # return 90th percentile.
print('p10 = ',p10,', median = ',p50,' and p90 = ',p90)
#p10 =  2 , median =  5  and p90 =  9

Если ваш входной массив состоит только из целочисленных значений, вас может заинтересовать процентный ответ в виде целого числа. Если это так, выберите режим интерполяции, например, «ниже», «выше» или «ближайший».

— Итало Жервасио
источник
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.