Преобразование вывода Pandas GroupBy из Series в DataFrame


497

Я начинаю с входных данных, как это

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

Который при печати выглядит так:

   City     Name
0   Seattle    Alice
1   Seattle      Bob
2  Portland  Mallory
3   Seattle  Mallory
4   Seattle      Bob
5  Portland  Mallory

Группировка достаточно проста:

g1 = df1.groupby( [ "Name", "City"] ).count()

и печать дает GroupByобъект:

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
        Seattle      1     1

Но в конечном итоге мне нужен еще один объект DataFrame, который содержит все строки в объекте GroupBy. Другими словами, я хочу получить следующий результат:

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
Mallory Seattle      1     1

Я не совсем понимаю, как это сделать, в документации для панд. Любые намеки приветствуются.


1
Помимо вопроса: какую версию панд вы используете? Если выполнить первые 2 команды, я получу g1 какEmpty DataFrame Columns: [] Index: [(Alice, Seattle), (Bob, Seattle), (Mallory, Portland), (Mallory, Seattle)]
Timofey

1
Название вопроса вводит в заблуждение относительно принятого ответа
matanster

@matanster могу ли я спросить, что вы пришли сюда, чтобы узнать ответ? Мы можем подумать о том, чтобы написать более точный ответ и направить внимание пользователей на комментарий под вопросом.
cs95

@coldspeed Это просто типичная проблема с SO, названия вопросов позволяют значительно отличаться от содержания вопроса и ответов. Если бы мета не была такой враждебной, это, вероятно, было бы полезным для обсуждения.
Матенстер

@matanster Я согласен, однако мне было только интересно узнать, что именно вы на самом деле искали ответ, так что это привело вас сюда.
cs95

Ответы:


530

g1здесь есть DataFrame. Он имеет иерархический индекс, хотя:

In [19]: type(g1)
Out[19]: pandas.core.frame.DataFrame

In [20]: g1.index
Out[20]: 
MultiIndex([('Alice', 'Seattle'), ('Bob', 'Seattle'), ('Mallory', 'Portland'),
       ('Mallory', 'Seattle')], dtype=object)

Возможно, вы хотите что-то подобное?

In [21]: g1.add_suffix('_Count').reset_index()
Out[21]: 
      Name      City  City_Count  Name_Count
0    Alice   Seattle           1           1
1      Bob   Seattle           2           2
2  Mallory  Portland           2           2
3  Mallory   Seattle           1           1

Или что-то вроде:

In [36]: DataFrame({'count' : df1.groupby( [ "Name", "City"] ).size()}).reset_index()
Out[36]: 
      Name      City  count
0    Alice   Seattle      1
1      Bob   Seattle      2
2  Mallory  Portland      2
3  Mallory   Seattle      1

27
reset.index()делает работу, отлично!
gented

54
Вы могли бы использовать:df1.groupby( [ "Name", "City"] ).size().to_frame(name = 'count').reset_index()
Nehal J Wani

3
Второй пример с использованием .reset_index()мне кажется лучшим способом объединения результатов, которые вы получите df.groupby('some_column').apply(your_custom_func). Это было не интуитивно для меня.
Александр

5
Это также верно в Python 3? Я нахожу функцию groupby, возвращающую pandas.core.groupby.DataFrameGroupByобъект, а не pandas.core.frame.DataFrame.
Адриан Кейстер,

3
Этот ответ кажется неуместным для последних питонов и панд
matanster

129

Я хочу немного изменить ответ, данный Уэсом, потому что требуется версия 0.16.2 as_index=False. Если вы не установите его, вы получите пустой фрейм данных.

Источник :

Функции агрегации не будут возвращать группы, по которым вы агрегируете, если они называются столбцами, если as_index=Trueпо умолчанию. Сгруппированные столбцы будут индексами возвращаемого объекта.

Передача as_index=Falseвернет группы, по которым вы агрегируете, если они названы столбцами.

Агрегирование функции те , которые уменьшают размер возвращаемых объектов, например: mean, sum, size, count, std, var, sem, describe, first, last, nth, min, max. Это то, что происходит, когда вы делаете, например, DataFrame.sum()и получаете обратно Series.

nth может действовать как редуктор или фильтр, см. здесь .

import pandas as pd

df1 = pd.DataFrame({"Name":["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"],
                    "City":["Seattle","Seattle","Portland","Seattle","Seattle","Portland"]})
print df1
#
#       City     Name
#0   Seattle    Alice
#1   Seattle      Bob
#2  Portland  Mallory
#3   Seattle  Mallory
#4   Seattle      Bob
#5  Portland  Mallory
#
g1 = df1.groupby(["Name", "City"], as_index=False).count()
print g1
#
#                  City  Name
#Name    City
#Alice   Seattle      1     1
#Bob     Seattle      2     2
#Mallory Portland     2     2
#        Seattle      1     1
#

РЕДАКТИРОВАТЬ:

В версии 0.17.1и позже вы можете использовать subsetв countи reset_indexс параметром nameв size:

print df1.groupby(["Name", "City"], as_index=False ).count()
#IndexError: list index out of range

print df1.groupby(["Name", "City"]).count()
#Empty DataFrame
#Columns: []
#Index: [(Alice, Seattle), (Bob, Seattle), (Mallory, Portland), (Mallory, Seattle)]

print df1.groupby(["Name", "City"])[['Name','City']].count()
#                  Name  City
#Name    City                
#Alice   Seattle      1     1
#Bob     Seattle      2     2
#Mallory Portland     2     2
#        Seattle      1     1

print df1.groupby(["Name", "City"]).size().reset_index(name='count')
#      Name      City  count
#0    Alice   Seattle      1
#1      Bob   Seattle      2
#2  Mallory  Portland      2
#3  Mallory   Seattle      1

Разница между countи в sizeтом, что sizeподсчитывает значения NaN, тогда countкак нет.


8
Я думаю, что это самый простой способ - один вкладыш, который использует тот приятный факт, что вы можете назвать столбец серии с помощью reset_index:df1.groupby( [ "Name", "City"]).size().reset_index(name="count")
Ben

1
Есть ли причина , почему as_index=False' stopped working in latest versions? I also tried to run df1.groupby ([ «Имя», «Город»], as_index = False) .size () ` , но это не влияет на результат (возможно , потому , что результат группирования является SeriesнеDataFrame
Роман Пекар

1
Я не уверен, но, кажется, есть только 2 столбца и groupbyпо этим столбцам. Но я не уверен, потому что я не разработчик панд.
Jezrael

20

Просто, это должно сделать задачу:

import pandas as pd

grouped_df = df1.groupby( [ "Name", "City"] )

pd.DataFrame(grouped_df.size().reset_index(name = "Group_Count"))

Здесь grouped_df.size()поднимается уникальный счетчик групп, и reset_index()метод сбрасывает имя столбца, которым вы хотите его видеть. Наконец, Dataframe()функция pandas вызывается для создания объекта DataFrame.


2
Проверьте метод .to_frame (): grouped_df.size (). To_frame ('Group_Count')
Sealander

12

Ключ должен использовать метод reset_index () .

Использование:

import pandas

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

g1 = df1.groupby( [ "Name", "City"] ).count().reset_index()

Теперь у вас есть новый фрейм данных в g1 :

результирующий кадр данных


9

Возможно, я неправильно понял вопрос, но если вы хотите преобразовать группу обратно в фрейм данных, вы можете использовать .to_frame (). Когда я это сделал, я хотел сбросить индекс, поэтому я включил и эту часть.

пример кода не имеет отношения к вопросу

df = df['TIME'].groupby(df['Name']).min()
df = df.to_frame()
df = df.reset_index(level=['Name',"TIME"])

6

Я обнаружил, что это работает для меня.

import numpy as np
import pandas as pd

df1 = pd.DataFrame({ 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"]})

df1['City_count'] = 1
df1['Name_count'] = 1

df1.groupby(['Name', 'City'], as_index=False).count()


4

Я агрегировал с кол-во мудрых данных и сохранить в dataframe

almo_grp_data = pd.DataFrame({'Qty_cnt' :
almo_slt_models_data.groupby( ['orderDate','Item','State Abv']
          )['Qty'].sum()}).reset_index()

3

Эти решения работали только частично для меня, потому что я делал несколько агрегаций. Вот пример выходных данных моей группы, которые я хотел преобразовать в кадр данных:

Групповой выход

Поскольку я хотел большего, чем число, предоставляемое reset_index (), я написал ручной метод для преобразования изображения выше в кадр данных. Я понимаю, что это не самый питонский / панда способ сделать это, поскольку он довольно многословный и явный, но это было все, что мне было нужно. В основном, используйте метод reset_index (), описанный выше, чтобы запустить фрейм данных «scaffolding», затем выполните цикл по групповым спариваниям в сгруппированном фрейме данных, извлеките индексы, выполните вычисления для несгруппированного фрейма данных и установите значение в новом агрегированном фрейме данных. ,

df_grouped = df[['Salary Basis', 'Job Title', 'Hourly Rate', 'Male Count', 'Female Count']]
df_grouped = df_grouped.groupby(['Salary Basis', 'Job Title'], as_index=False)

# Grouped gives us the indices we want for each grouping
# We cannot convert a groupedby object back to a dataframe, so we need to do it manually
# Create a new dataframe to work against
df_aggregated = df_grouped.size().to_frame('Total Count').reset_index()
df_aggregated['Male Count'] = 0
df_aggregated['Female Count'] = 0
df_aggregated['Job Rate'] = 0

def manualAggregations(indices_array):
    temp_df = df.iloc[indices_array]
    return {
        'Male Count': temp_df['Male Count'].sum(),
        'Female Count': temp_df['Female Count'].sum(),
        'Job Rate': temp_df['Hourly Rate'].max()
    }

for name, group in df_grouped:
    ix = df_grouped.indices[name]
    calcDict = manualAggregations(ix)

    for key in calcDict:
        #Salary Basis, Job Title
        columns = list(name)
        df_aggregated.loc[(df_aggregated['Salary Basis'] == columns[0]) & 
                          (df_aggregated['Job Title'] == columns[1]), key] = calcDict[key]

Если вам не подходит словарь, вычисления могут быть встроены в цикл for:

    df_aggregated['Male Count'].loc[(df_aggregated['Salary Basis'] == columns[0]) & 
                                (df_aggregated['Job Title'] == columns[1])] = df['Male Count'].iloc[ix].sum()

Не могли бы вы поделиться набором данных, который вы использовали для своего решения? Большое спасибо!
JeffZheng
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.