Как получить последние N строк в панде DataFrame?

175

У меня есть pandas dataframe df1и df2(df1 - это vanila dataframe, df2 индексируется как 'STK_ID' & 'RPT_Date'):

>>> df1
    STK_ID  RPT_Date  TClose   sales  discount
0   000568  20060331    3.69   5.975       NaN
1   000568  20060630    9.14  10.143       NaN
2   000568  20060930    9.49  13.854       NaN
3   000568  20061231   15.84  19.262       NaN
4   000568  20070331   17.00   6.803       NaN
5   000568  20070630   26.31  12.940       NaN
6   000568  20070930   39.12  19.977       NaN
7   000568  20071231   45.94  29.269       NaN
8   000568  20080331   38.75  12.668       NaN
9   000568  20080630   30.09  21.102       NaN
10  000568  20080930   26.00  30.769       NaN

>>> df2
                 TClose   sales  discount  net_sales    cogs
STK_ID RPT_Date                                             
000568 20060331    3.69   5.975       NaN      5.975   2.591
       20060630    9.14  10.143       NaN     10.143   4.363
       20060930    9.49  13.854       NaN     13.854   5.901
       20061231   15.84  19.262       NaN     19.262   8.407
       20070331   17.00   6.803       NaN      6.803   2.815
       20070630   26.31  12.940       NaN     12.940   5.418
       20070930   39.12  19.977       NaN     19.977   8.452
       20071231   45.94  29.269       NaN     29.269  12.606
       20080331   38.75  12.668       NaN     12.668   3.958
       20080630   30.09  21.102       NaN     21.102   7.431

Я могу получить последние 3 строки df2:

>>> df2.ix[-3:]
                 TClose   sales  discount  net_sales    cogs
STK_ID RPT_Date                                             
000568 20071231   45.94  29.269       NaN     29.269  12.606
       20080331   38.75  12.668       NaN     12.668   3.958
       20080630   30.09  21.102       NaN     21.102   7.431

пока df1.ix[-3:]дадим все строки:

>>> df1.ix[-3:]
    STK_ID  RPT_Date  TClose   sales  discount
0   000568  20060331    3.69   5.975       NaN
1   000568  20060630    9.14  10.143       NaN
2   000568  20060930    9.49  13.854       NaN
3   000568  20061231   15.84  19.262       NaN
4   000568  20070331   17.00   6.803       NaN
5   000568  20070630   26.31  12.940       NaN
6   000568  20070930   39.12  19.977       NaN
7   000568  20071231   45.94  29.269       NaN
8   000568  20080331   38.75  12.668       NaN
9   000568  20080630   30.09  21.102       NaN
10  000568  20080930   26.00  30.769       NaN

Зачем ? Как получить последние 3 строки df1(датафрейм без индекса)? Панды 0.10.1

python pandas dataframe

— bigbug
источник

3

Вы можете использовать df[-3:]для получения желаемых результатов. Это было сочтено ошибкой WesM. Не уверен, если / когда это будет исправлено: stackoverflow.com/questions/14035817/…

— Zelazny7

@ Zelazny7 Не думаю, что это правильно. Я думаю, что отрицательный срез ixбыл ошибкой, но передача отрицательных срезов __getitem__- нет. df.iloc[-3:]внутренне делегирует __getitem__с теми же аргументами, do df[-3:]это ярлык df.iloc[-3:], а не ошибка.

— cs95

394

Не забывайте DataFrame.tail! напримерdf1.tail(10)

— Уэс МакКинни
источник

Я сделал ... Я забыл: о

— Майк Рападас

74

Это происходит из-за использования целочисленных индексов ( ixвыбирает их по метке над -3, а не по позиции , и это по замыслу: см. Индексирование целых чисел в пандах "gotchas" *).

* В более новых версиях панд предпочитают loc или iloc, чтобы убрать неоднозначность ix как позиции или метки:

df.iloc[-3:]

смотри документы .

Как указывает Уэс, в этом конкретном случае вы должны просто использовать хвост!

— Энди Хейден
источник

1

@DavidWolever Я не могу воспроизвести вашу IndexError на 0.14.1, df.iloc [-5:] отлично работает для меня на вашем примере. Какую версию панд вы используете?

— Энди Хейден,

10

Как получить последние N строк в панде DataFrame?

Если вы выполняете нарезку по позиции __getitem__(то есть срезание с помощью []), это хорошо работает и является наиболее кратким решением, которое я нашел для этой проблемы.

pd.__version__
# '0.24.2'

df = pd.DataFrame({'A': list('aaabbbbc'), 'B': np.arange(1, 9)})
df

   A  B
0  a  1
1  a  2
2  a  3
3  b  4
4  b  5
5  b  6
6  b  7
7  c  8

df[-3:]

   A  B
5  b  6
6  b  7
7  c  8

Это то же самое, что df.iloc[-3:], например, вызов ( ilocвнутренние делегаты __getitem__).

Кроме того, если вы хотите найти последние N строк для каждой группы, используйте groupbyи GroupBy.tail:

df.groupby('A').tail(2)

   A  B
1  a  2
2  a  3
5  b  6
6  b  7
7  c  8

— cs95
источник