Пользовательская сортировка в фрейме данных pandas

Question 1

У меня есть фреймворк python pandas, в котором столбец содержит название месяца.

Как я могу выполнить произвольную сортировку с использованием словаря, например:

custom_dict = {'March':0, 'April':1, 'Dec':3}

Question 2

Pandas 0.15 представил Категориальную серию , которая позволяет сделать это гораздо яснее:

Сначала сделайте столбец месяца категориальным и укажите порядок использования.

In [21]: df['m'] = pd.Categorical(df['m'], ["March", "April", "Dec"])

In [22]: df  # looks the same!
Out[22]:
   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

Теперь, когда вы сортируете столбец месяца, он будет отсортирован по этому списку:

In [23]: df.sort_values("m")
Out[23]:
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

Примечание: если значение отсутствует в списке, оно будет преобразовано в NaN.

Старый ответ для интересующихся ...

Вы можете создать промежуточную серию, и set_indexна этом:

df = pd.DataFrame([[1, 2, 'March'],[5, 6, 'Dec'],[3, 4, 'April']], columns=['a','b','m'])
s = df['m'].apply(lambda x: {'March':0, 'April':1, 'Dec':3}[x])
s.sort_values()

In [4]: df.set_index(s.index).sort()
Out[4]: 
   a  b      m
0  1  2  March
1  3  4  April
2  5  6    Dec

Как уже отмечалось, в новых пандах у Series есть replaceспособ сделать это более элегантно:

s = df['m'].replace({'March':0, 'April':1, 'Dec':3})

Небольшая разница в том, что это не будет повышаться, если есть значение вне словаря (оно просто останется прежним).

Question 3

панды> = 1.1

Скоро вы сможете использовать sort_valuesс keyаргументом:

pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'

custom_dict = {'March': 0, 'April': 1, 'Dec': 3} 
df

   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

df.sort_values(by=['m'], key=lambda x: x.map(custom_dict))

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

keyАргумент принимает в качестве входных серии и возвращает серию. Эта серия внутренне упорядочена, и отсортированные индексы используются для изменения порядка входного DataFrame. Если есть несколько столбцов для сортировки, ключевая функция будет применена к каждому из них по очереди. См. Сортировка с помощью ключей .

панды <= 1.0.X

Один простой метод заключается в использовании вывода Series.mapи Series.argsortиндексации для dfиспользования DataFrame.iloc(поскольку argsort производит отсортированные целочисленные позиции); поскольку у вас есть словарь; это становится легко.

df.iloc[df['m'].map(custom_dict).argsort()]

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

Если вам нужно отсортировать по убыванию , инвертируйте сопоставление.

df.iloc[(-df['m'].map(custom_dict)).argsort()]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

Обратите внимание, что это работает только с числовыми элементами. В противном случае вам нужно будет обойти это, используя sort_valuesи доступ к индексу:

df.loc[df['m'].map(custom_dict).sort_values(ascending=False).index]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

Дополнительные параметры доступны с astype(сейчас это не рекомендуется) или pd.Categorical, но вам нужно указать, ordered=Trueчтобы он работал правильно .

# Older version,
# df['m'].astype('category', 
#                categories=sorted(custom_dict, key=custom_dict.get), 
#                ordered=True)
df['m'] = pd.Categorical(df['m'], 
                         categories=sorted(custom_dict, key=custom_dict.get), 
                         ordered=True)

Теперь достаточно простого sort_valuesвызова:

df.sort_values('m')
 
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

Категориальный порядок также будет соблюдаться при groupbyсортировке вывода.

Question 4

Немного поздно для игры, но вот способ создать функцию, которая сортирует объекты pandas Series, DataFrame и multiindex DataFrame с использованием произвольных функций.

Я использую df.iloc[index]метод, который ссылается на строку в Series / DataFrame по позиции (по сравнению с df.loc, которая ссылается по значению). Используя это, нам просто нужно иметь функцию, которая возвращает ряд позиционных аргументов:

def sort_pd(key=None,reverse=False,cmp=None):
    def sorter(series):
        series_list = list(series)
        return [series_list.index(i) 
           for i in sorted(series_list,key=key,reverse=reverse,cmp=cmp)]
    return sorter

Вы можете использовать это для создания собственных функций сортировки. Это работает с фреймом данных, используемым в ответе Энди Хайдена:

df = pd.DataFrame([
    [1, 2, 'March'],
    [5, 6, 'Dec'],
    [3, 4, 'April']], 
  columns=['a','b','m'])

custom_dict = {'March':0, 'April':1, 'Dec':3}
sort_by_custom_dict = sort_pd(key=custom_dict.get)

In [6]: df.iloc[sort_by_custom_dict(df['m'])]
Out[6]:
   a  b  m
0  1  2  March
2  3  4  April
1  5  6  Dec

Это также работает с мультииндексными объектами DataFrames и Series:

months = ['Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec']

df = pd.DataFrame([
    ['New York','Mar',12714],
    ['New York','Apr',89238],
    ['Atlanta','Jan',8161],
    ['Atlanta','Sep',5885],
  ],columns=['location','month','sales']).set_index(['location','month'])

sort_by_month = sort_pd(key=months.index)

In [10]: df.iloc[sort_by_month(df.index.get_level_values('month'))]
Out[10]:
                 sales
location  month  
Atlanta   Jan    8161
New York  Mar    12714
          Apr    89238
Atlanta   Sep    5885

sort_by_last_digit = sort_pd(key=lambda x: x%10)

In [12]: pd.Series(list(df['sales'])).iloc[sort_by_last_digit(df['sales'])]
Out[12]:
2    8161
0   12714
3    5885
1   89238

Мне это кажется чистым, но он сильно использует операции Python, а не полагается на оптимизированные операции pandas. Я не проводил стресс-тестирования, но предполагаю, что это может замедлиться на очень больших DataFrames. Не уверен, насколько производительность сравнивается с добавлением, сортировкой и удалением столбца. Любые советы по ускорению кода будут оценены!

Question 5

import pandas as pd
custom_dict = {'March':0,'April':1,'Dec':3}

df = pd.DataFrame(...) # with columns April, March, Dec (probably alphabetically)

df = pd.DataFrame(df, columns=sorted(custom_dict, key=custom_dict.get))

возвращает DataFrame со столбцами March, April, Dec