Как сгруппировать строки данных в список в pandas groupby?


274

У меня есть фрейма данных панд, dfкак:

a b
A 1
A 2
B 5
B 5
B 4
C 6

Я хочу сгруппировать по первому столбцу и получить второй столбец в виде списков в строках :

A [1,2]
B [5,5,4]
C [6]

Можно ли сделать что-то подобное с помощью групповых панд?

Ответы:


394

Вы можете сделать это, используя groupbyдля группировки по интересующему столбцу, а затем apply listдля каждой группы:

In [1]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6]})
        df

Out[1]: 
   a  b
0  A  1
1  A  2
2  B  5
3  B  5
4  B  4
5  C  6

In [2]: df.groupby('a')['b'].apply(list)
Out[2]: 
a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object

In [3]: df1 = df.groupby('a')['b'].apply(list).reset_index(name='new')
        df1
Out[3]: 
   a        new
0  A     [1, 2]
1  B  [5, 5, 4]
2  C        [6]

7
Это занимает много времени, если набор данных огромен, скажем, 10 миллионов строк. Есть ли более быстрый способ сделать это? Однако число уникальных чисел в «а» составляет около 500 тыс.
Абхишек Тхакур

6
groupby, как известно, медленен и требует много памяти, что вы могли бы сделать, это отсортировать по столбцу A, затем найти idxmin и idxmax (вероятно, сохранить это в формате dict) и использовать это, чтобы нарезать ваш фрейм данных быстрее, я думаю
EdChum

1
Когда я попробовал это решение с моей проблемой (с несколькими столбцами для groupBy и group), оно не сработало - панды послали «Функция не уменьшает». Затем я использовал tupleследующий второй ответ: stackoverflow.com/questions/19530568/… . См. Второй ответ в stackoverflow.com/questions/27439023/… для объяснения.
Андарин

Это решение хорошо, но есть ли способ сохранить набор списков, то есть я могу удалить дубликаты и затем сохранить их?
Шрирам Арвинд Лакшманакумар

1
@PoeteMaudit Извините, я не понимаю, что вы спрашиваете, и вопросы в комментариях - плохая форма в SO. Вы спрашиваете, как объединить несколько столбцов в один список?
EdChum

47

Если производительность важна, опуститесь до уровня numy:

import numpy as np

df = pd.DataFrame({'a': np.random.randint(0, 60, 600), 'b': [1, 2, 5, 5, 4, 6]*100})

def f(df):
         keys, values = df.sort_values('a').values.T
         ukeys, index = np.unique(keys, True)
         arrays = np.split(values, index[1:])
         df2 = pd.DataFrame({'a':ukeys, 'b':[list(a) for a in arrays]})
         return df2

тесты:

In [301]: %timeit f(df)
1000 loops, best of 3: 1.64 ms per loop

In [302]: %timeit df.groupby('a')['b'].apply(list)
100 loops, best of 3: 5.26 ms per loop

8
Как мы можем использовать это, если мы группируем по двум или более ключам, например, с помощью .groupby([df.index.month, df.index.day])вместо «только» .groupby('a')?
ru111

25

Удобный способ добиться этого будет:

df.groupby('a').agg({'b':lambda x: list(x)})

Посмотрите на написание пользовательских агрегатов: https://www.kaggle.com/akshaysehgal/how-to-group-by-aggregate-using-py


5
lambda args: f(args)эквивалентноf
BallpointBen

6
На самом деле, просто agg(list)достаточно. Также смотрите здесь .
cs95

!! Я просто гуглил какой-то синтаксис и понял, что на мой собственный ноутбук ссылаются как на решение lol. Спасибо за ссылку на это. Просто добавьте, поскольку 'list' не является последовательной функцией, вам придется либо использовать его с apply, df.groupby('a').apply(list)либо использовать его с agg как часть dict df.groupby('a').agg({'b':list}). Вы также можете использовать его с лямбдой (что я рекомендую), так как вы можете сделать с ней гораздо больше. Пример: df.groupby('a').agg({'c':'first', 'b': lambda x: x.unique().tolist()})который позволяет применить функцию серии к столбцу col c и уникальную функцию списка к столбцу col b.
Акшай Сегал

21

Как вы сказали, groupbyметод pd.DataFrameобъекта может сделать эту работу.

пример

 L = ['A','A','B','B','B','C']
 N = [1,2,5,5,4,6]

 import pandas as pd
 df = pd.DataFrame(zip(L,N),columns = list('LN'))


 groups = df.groupby(df.L)

 groups.groups
      {'A': [0, 1], 'B': [2, 3, 4], 'C': [5]}

который дает и индексное описание групп.

Чтобы получить элементы отдельных групп, вы можете сделать, например,

 groups.get_group('A')

     L  N
  0  A  1
  1  A  2

  groups.get_group('B')

     L  N
  2  B  5
  3  B  5
  4  B  4

21

Чтобы решить эту проблему для нескольких столбцов данных:

In [5]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6],'c'
   ...: :[3,3,3,4,4,4]})

In [6]: df
Out[6]: 
   a  b  c
0  A  1  3
1  A  2  3
2  B  5  3
3  B  5  4
4  B  4  4
5  C  6  4

In [7]: df.groupby('a').agg(lambda x: list(x))
Out[7]: 
           b          c
a                      
A     [1, 2]     [3, 3]
B  [5, 5, 4]  [3, 4, 4]
C        [6]        [4]

Этот ответ был вдохновлен ответом Анамики Моди . Спасибо!


12

Используйте любой из следующих groupbyи aggрецептов.

# Setup
df = pd.DataFrame({
  'a': ['A', 'A', 'B', 'B', 'B', 'C'],
  'b': [1, 2, 5, 5, 4, 6],
  'c': ['x', 'y', 'z', 'x', 'y', 'z']
})
df

   a  b  c
0  A  1  x
1  A  2  y
2  B  5  z
3  B  5  x
4  B  4  y
5  C  6  z

Чтобы объединить несколько столбцов в виде списков, используйте любое из следующего:

df.groupby('a').agg(list)
df.groupby('a').agg(pd.Series.tolist)

           b          c
a                      
A     [1, 2]     [x, y]
B  [5, 5, 4]  [z, x, y]
C        [6]        [z]

Чтобы сгруппировать список только в один столбец, преобразуйте groupby в SeriesGroupByобъект, а затем вызовите SeriesGroupBy.agg. Использование,

df.groupby('a').agg({'b': list})  # 4.42 ms 
df.groupby('a')['b'].agg(list)    # 2.76 ms - faster

a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object

Вышеуказанные методы гарантированно сохранят порядок? это означает, что элементы из одной и той же строки (но разных столбцов, b и c в вашем коде выше) будут иметь одинаковый индекс в результирующих списках?
Кай

@ Кай, хороший вопрос. Да и нет. GroupBy сортирует вывод по значениям ключа группировщика. Однако сортировка в целом стабильна, поэтому относительный порядок на группу сохраняется. Чтобы полностью отключить сортировку, используйте groupby(..., sort=False). Здесь это не имеет значения, так как я группируюсь по столбцу А, который уже отсортирован.
cs95

извините, я не понимаю ваш ответ. Можете ли вы объяснить более подробно. Я думаю, что это заслуживает отдельного вопроса ..
Кай,

1
Это очень хороший ответ! Есть ли способ сделать значения списка уникальными? что-то вроде .agg (pd.Series.tolist.unique) может быть?
Федерико Джентиле

1
@FedericoGentile вы можете использовать лямбду. Вот один из способов:df.groupby('a')['b'].agg(lambda x: list(set(x)))
cs95

7

Если вы ищете уникальный список при группировании нескольких столбцов, это может помочь:

df.groupby('a').agg(lambda x: list(set(x))).reset_index()

2

Давайте использовать df.groupbyсо списком и Seriesконструктором

pd.Series({x : y.b.tolist() for x , y in df.groupby('a')})
Out[664]: 
A       [1, 2]
B    [5, 5, 4]
C          [6]
dtype: object

2

Пора использовать aggвместо apply.

когда

df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6], 'c': [1,2,5,5,4,6]})

Если вы хотите, чтобы несколько столбцов складывались в список, результат pd.DataFrame

df.groupby('a')[['b', 'c']].agg(list)
# or 
df.groupby('a').agg(list)

Если вы хотите один столбец в списке, результат ps.Series

df.groupby('a')['b'].agg(list)
#or
df.groupby('a')['b'].apply(list)

Обратите внимание, что результат pd.DataFrameпримерно в 10 раз медленнее, чем результат, ps.Seriesкогда вы агрегируете только один столбец, используйте его в случае нескольких столбцов.


0

Здесь я сгруппировал элементы с "|" в качестве разделителя

    import pandas as pd

    df = pd.read_csv('input.csv')

    df
    Out[1]:
      Area  Keywords
    0  A  1
    1  A  2
    2  B  5
    3  B  5
    4  B  4
    5  C  6

    df.dropna(inplace =  True)
    df['Area']=df['Area'].apply(lambda x:x.lower().strip())
    print df.columns
    df_op = df.groupby('Area').agg({"Keywords":lambda x : "|".join(x)})

    df_op.to_csv('output.csv')
    Out[2]:
    df_op
    Area  Keywords

    A       [1| 2]
    B    [5| 5| 4]
    C          [6]

0

Самый простой способ, который я вижу, - не достичь большинства одинаковых вещей хотя бы для одного столбца, который похож на ответ Анамики только с синтаксисом кортежа для функции агрегирования.

df.groupby('a').agg(b=('b','unique'), c=('c','unique'))
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.