Удаление строки DataFrame в Pandas на основе значения столбца

512

У меня есть следующий DataFrame:

             daysago  line_race rating        rw    wrating
 line_date                                                 
 2007-03-31       62         11     56  1.000000  56.000000
 2007-03-10       83         11     67  1.000000  67.000000
 2007-02-10      111          9     66  1.000000  66.000000
 2007-01-13      139         10     83  0.880678  73.096278
 2006-12-23      160         10     88  0.793033  69.786942
 2006-11-09      204          9     52  0.636655  33.106077
 2006-10-22      222          8     66  0.581946  38.408408
 2006-09-29      245          9     70  0.518825  36.317752
 2006-09-16      258         11     68  0.486226  33.063381
 2006-08-30      275          8     72  0.446667  32.160051
 2006-02-11      475          5     65  0.164591  10.698423
 2006-01-13      504          0     70  0.142409   9.968634
 2006-01-02      515          0     64  0.134800   8.627219
 2005-12-06      542          0     70  0.117803   8.246238
 2005-11-29      549          0     70  0.113758   7.963072
 2005-11-22      556          0     -1  0.109852  -0.109852
 2005-11-01      577          0     -1  0.098919  -0.098919
 2005-10-20      589          0     -1  0.093168  -0.093168
 2005-09-27      612          0     -1  0.083063  -0.083063
 2005-09-07      632          0     -1  0.075171  -0.075171
 2005-06-12      719          0     69  0.048690   3.359623
 2005-05-29      733          0     -1  0.045404  -0.045404
 2005-05-02      760          0     -1  0.039679  -0.039679
 2005-04-02      790          0     -1  0.034160  -0.034160
 2005-03-13      810          0     -1  0.030915  -0.030915
 2004-11-09      934          0     -1  0.016647  -0.016647

Мне нужно удалить строки, где line_raceравно 0. Какой самый эффективный способ сделать это?

python  pandas 
— TravisVOX
источник
6
— footwet

Ответы:

879

Если я правильно понимаю, это должно быть так просто:

df = df[df.line_race != 0]
— tshauck
источник
16
Это будет стоить больше памяти, если dfбольшой? Или я могу сделать это на месте?
— Цзыюан,
10
Просто запустил его dfс 2M строками, и все прошло довольно быстро.
— Дрор
46
@vfxGer, если в столбце есть пробел, например, «линия гонки», то вы можете просто сделать этоdf = df[df['line race'] != 0]
— Пол
3
Как бы мы изменили эту команду, если бы хотели удалить всю строку, если рассматриваемое значение найдено в любом из столбцов в этой строке?
— Алекс
3
Спасибо! Fwiw, для меня это должно было бытьdf=df[~df['DATE'].isin(['2015-10-30.1', '2015-11-30.1', '2015-12-31.1'])]
— citynorman
182

Но для любых будущих прохожих вы могли бы упомянуть, что df = df[df.line_race != 0]ничего не делает при попытке фильтрации None/ пропущенных значений.

Работает:

df = df[df.line_race != 0]

Ничего не делает

df = df[df.line_race != None]

Работает:

df = df[df.line_race.notnull()]
— wonderkid2
источник
4
как это сделать, если мы не знаем имя столбца?
— Пиюш С. Ванаре
Можно df = df[df.columns[2].notnull()], но так или иначе вам нужно каким-то образом индексировать столбец.
— erekalper
1
df = df[df.line_race != 0]удаляет строки, но также не сбрасывает индекс. Поэтому, когда вы добавляете еще одну строку в df, она может не добавляться в конце. Я бы рекомендовал сбросить индекс после этой операции ( df = df.reset_index(drop=True))
— the_new_james
Никогда не сравнивайте None с ==оператором для запуска. stackoverflow.com/questions/3257919/…
— Брэм Ванрой
40

Лучший способ сделать это с помощью логического маскирования:

In [56]: df
Out[56]:
     line_date  daysago  line_race  rating    raw  wrating
0   2007-03-31       62         11      56  1.000   56.000
1   2007-03-10       83         11      67  1.000   67.000
2   2007-02-10      111          9      66  1.000   66.000
3   2007-01-13      139         10      83  0.881   73.096
4   2006-12-23      160         10      88  0.793   69.787
5   2006-11-09      204          9      52  0.637   33.106
6   2006-10-22      222          8      66  0.582   38.408
7   2006-09-29      245          9      70  0.519   36.318
8   2006-09-16      258         11      68  0.486   33.063
9   2006-08-30      275          8      72  0.447   32.160
10  2006-02-11      475          5      65  0.165   10.698
11  2006-01-13      504          0      70  0.142    9.969
12  2006-01-02      515          0      64  0.135    8.627
13  2005-12-06      542          0      70  0.118    8.246
14  2005-11-29      549          0      70  0.114    7.963
15  2005-11-22      556          0      -1  0.110   -0.110
16  2005-11-01      577          0      -1  0.099   -0.099
17  2005-10-20      589          0      -1  0.093   -0.093
18  2005-09-27      612          0      -1  0.083   -0.083
19  2005-09-07      632          0      -1  0.075   -0.075
20  2005-06-12      719          0      69  0.049    3.360
21  2005-05-29      733          0      -1  0.045   -0.045
22  2005-05-02      760          0      -1  0.040   -0.040
23  2005-04-02      790          0      -1  0.034   -0.034
24  2005-03-13      810          0      -1  0.031   -0.031
25  2004-11-09      934          0      -1  0.017   -0.017

In [57]: df[df.line_race != 0]
Out[57]:
     line_date  daysago  line_race  rating    raw  wrating
0   2007-03-31       62         11      56  1.000   56.000
1   2007-03-10       83         11      67  1.000   67.000
2   2007-02-10      111          9      66  1.000   66.000
3   2007-01-13      139         10      83  0.881   73.096
4   2006-12-23      160         10      88  0.793   69.787
5   2006-11-09      204          9      52  0.637   33.106
6   2006-10-22      222          8      66  0.582   38.408
7   2006-09-29      245          9      70  0.519   36.318
8   2006-09-16      258         11      68  0.486   33.063
9   2006-08-30      275          8      72  0.447   32.160
10  2006-02-11      475          5      65  0.165   10.698

ОБНОВЛЕНИЕ: Теперь, когда панды 0.13 вышли, еще один способ сделать это df.query('line_race != 0').

— Филлип Облако
источник
df.query выглядит очень полезным! Спасибо! pandas.pydata.org/pandas-docs/version/0.13.1/generated/…
— fantabolous
14
Хорошее обновление для query. Это позволяет использовать более богатые критерии выбора (например, операции, подобные set, например, df.query('variable in var_list')где 'var_list' - список желаемых значений)
— philE
1
Как этого добиться, если в имени столбца есть пробел?
— iNoob
2
queryне очень полезно, если в имени столбца есть пробел.
— Филип Облако
3
Я хотел бы избежать пробелов в заголовках с чем-то вроде этогоdf = df.rename(columns=lambda x: x.strip().replace(' ','_'))
— Scientist1642
40

просто чтобы добавить другое решение, особенно полезное, если вы используете новые оценщики панд, другие решения заменят оригинальные панды и потеряют оценщиков

df.drop(df.loc[df['line_race']==0].index, inplace=True)
— Десмонд
источник
1
Какова цель написания индекса и на месте. Кто-нибудь может объяснить, пожалуйста?
— heman123
2
— Федерико
Я думаю, что нам также нужно было .reset_index()бы, если бы кто-то заканчивал тем, что использовал индексные
— методы
17

Если вы хотите удалить строки на основе нескольких значений столбца, вы можете использовать:

df[(df.line_race != 0) & (df.line_race != 10)]

Сбросить все строки со значениями 0 и 10 для line_race.

— Robvh
источник
Есть ли более эффективный способ сделать это, если у вас есть несколько значений, которые вы хотите отбросить, т.е., drop = [0, 10]а затем что-то вродеdf[(df.line_race != drop)]
— mikey
14

Данный ответ, тем не менее, является правильным, как кто-то выше сказал, что вы можете использовать, df.query('line_race != 0')что в зависимости от вашей проблемы гораздо быстрее. Настоятельно рекомендую.

— h3h325
источник
Особенно полезно, если у вас есть длинные DataFrameимена переменных, как я (и, рискну предположить, все по сравнению с dfиспользуемыми для примеров), потому что вы должны написать это только один раз.
— Иосиф
9

Хотя предыдущий ответ почти аналогичен тому, что я собираюсь сделать, но использование метода индекса не требует использования другого метода индексации .loc (). Это можно сделать аналогично, но точно так же, как

df.drop(df.index[df['line_race'] == 0], inplace = True)
— Loochie
источник
1
Решение на месте лучше для больших наборов данных или с ограниченным объемом памяти. +1
— davmor
3

Еще один способ сделать это. Возможно, это не самый эффективный способ, так как код выглядит немного сложнее, чем код, упомянутый в других ответах, но все же альтернативный способ сделать то же самое.

  df = df.drop(df[df['line_race']==0].index)
— Амрут Лаккаварам
источник
1

Я скомпилировал и запустил свой код. Это точный код. Вы можете попробовать это самостоятельно.

data = pd.read_excel('file.xlsx')

Если у вас есть какой-либо специальный символ или пробел в имени столбца, вы можете написать его так, ''как показано в следующем коде:

data = data[data['expire/t'].notnull()]
print (date)

Если есть только одно строковое имя столбца без пробелов или специальных символов, вы можете получить к нему прямой доступ. 

data = data[data.expire ! = 0]
print (date)
— Uzair
источник
0

Просто добавив еще один способ для DataFrame, расширенный по всем столбцам:

for column in df.columns:
   df = df[df[column]!=0]

Пример:

def z_score(data,count):
   threshold=3
   for column in data.columns:
       mean = np.mean(data[column])
       std = np.std(data[column])
       for i in data[column]:
           zscore = (i-mean)/std
           if(np.abs(zscore)>threshold):
               count=count+1
               data = data[data[column]!=i]
   return data,count
— Пратик Кумар Сингх
источник
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.