107

У меня есть фреймворк pandas со следующими именами столбцов:

Результат1, Тест1, Результат2, Тест2, Результат3, Тест3 и т. Д.

Я хочу удалить все столбцы, в названии которых есть слово «Тест». Количество таких столбцов не является статическим, а зависит от предыдущей функции.

Как я могу это сделать?

python pandas dataframe

— Алексис Эггермонт
источник

76

import pandas as pd

import numpy as np

array=np.random.random((2,4))

df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))

print df

      Test1      toto     test2      riri
0  0.923249  0.572528  0.845464  0.144891
1  0.020438  0.332540  0.144455  0.741412

cols = [c for c in df.columns if c.lower()[:4] != 'test']

df=df[cols]

print df
       toto      riri
0  0.572528  0.144891
1  0.332540  0.741412

— Ник
источник

2

OP не указал, что удаление должно производиться без учета регистра.

— Филлип Клауд

170

Вот один из способов сделать это:

df = df[df.columns.drop(list(df.filter(regex='Test')))]

— Биндия12
источник

47

Или прямо на месте:df.drop(list(df.filter(regex = 'Test')), axis = 1, inplace = True)

— Аксель

7

Это гораздо более элегантное решение, чем принятый ответ. Я бы немного разбил его, чтобы показать почему, в основном извлечение, list(df.filter(regex='Test'))чтобы лучше показать, что делает строка. Я бы также предпочел df.filter(regex='Test').columnsпреобразование списков

— Чарльз

3

Этот более элегантный, чем принятый ответ.

— deepelement

4

Мне действительно интересно, что означают комментарии, в которых говорится, что этот ответ «элегантный». Я сам нахожу это довольно запутанным, когда код Python сначала должен быть читаемым. Это также вдвое медленнее, чем первый ответ. И он использует regexключевое слово, когда likeключевое слово кажется более подходящим.

— Жако

2

На самом деле это не такой хороший ответ, как утверждают люди. Проблема в filterтом, что он возвращает копию ВСЕХ данных в виде столбцов, которые вы хотите удалить. Было бы расточительно, если бы вы только передавали этот результат drop(который снова возвращает копию) ... лучшим решением было бы str.startswith(я добавил ответ с этим здесь).

— cs95

43

Дешевле, быстрее и идиоматичнее: `str.contains`

В последних версиях pandas вы можете использовать строковые методы для индекса и столбцов. Здесь str.startswithвроде как хорошо подходит.

Чтобы удалить все столбцы, начинающиеся с заданной подстроки:

df.columns.str.startswith('Test')
# array([ True, False, False, False])

df.loc[:,~df.columns.str.startswith('Test')]

  toto test2 riri
0    x     x    x
1    x     x    x

Для сопоставления без учета регистра вы можете использовать сопоставление на основе регулярных выражений str.containsс привязкой SOL:

df.columns.str.contains('^test', case=False)
# array([ True, False,  True, False])

df.loc[:,~df.columns.str.contains('^test', case=False)] 

  toto riri
0    x    x
1    x    x

если возможны смешанные типы, также укажите na=False.

— cs95
источник

15

Вы можете отфильтровать нужные столбцы с помощью фильтра

import pandas as pd
import numpy as np

data2 = [{'test2': 1, 'result1': 2}, {'test': 5, 'result34': 10, 'c': 20}]

df = pd.DataFrame(data2)

df

    c   result1     result34    test    test2
0   NaN     2.0     NaN     NaN     1.0
1   20.0    NaN     10.0    5.0     NaN

Теперь фильтровать

df.filter(like='result',axis=1)

Получить..

   result1  result34
0   2.0     NaN
1   NaN     10.0

— SAH
источник

4

Лучший ответ! Спасибо. Как фильтровать противоположное? not like='result'

— stallingOne

2

затем сделайте это: df = df.drop (df.filter (like = 'result', axis = 1) .columns, axis = 1)

— Amir

14

Это можно сделать аккуратно в одной строке с:

df = df.drop(df.filter(regex='Test').columns, axis=1)

— Уоррен О'Нил
источник

1

Аналогично (и быстрее):df.drop(df.filter(regex='Test').columns, axis=1, inplace=True)

— Макс Генис,

9

Используйте DataFrame.selectметод:

In [38]: df = DataFrame({'Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10)})

In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
Out[39]:
   awesome
0    1.215
1    1.247
2    0.142
3    0.169
4    0.137
5   -0.971
6    0.736
7    0.214
8    0.111
9   -0.214

— Филипп Клауд
источник

И операционная система не указала, что число должно следовать за «Тестом»: я хочу удалить все столбцы, имя которых содержит слово «Тест» .

— 7stud

Предположение, что число следует за тестом, вполне разумно. Перечитайте вопрос.

— Филлип Клауд

2

теперь вижу:

FutureWarning: 'select' is deprecated and will be removed in a future release. You can use .loc[labels.map(crit)] as a replacement

— flutefreak7

Не забудьте import reзаранее.

— ijoseph

5

Этот метод делает все на месте. Многие другие ответы создают копии и не так эффективны:

df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)

— ba0101
источник

2

Не роняйте. Поймайте противоположное тому, что хотите.

df = df.filter(regex='^((?!badword).)*$').columns

— Рой Ассис
источник

1

Самый короткий способ сделать это:

resdf = df.filter(like='Test',axis=1)

— ZacNt
источник

Это уже было рассмотрено в этом ответе .

— Джино Мемпин,

1

Хотя ответ, связанный с приведенным выше комментарием, похож, это не то же самое. На самом деле все почти наоборот.

— Макиен

0

Решение при удалении списка имен столбцов, содержащих регулярное выражение. Я предпочитаю этот подход, потому что я часто редактирую выпадающий список. Использует регулярное выражение отрицательного фильтра для выпадающего списка.

drop_column_names = ['A','B.+','C.*']
drop_columns_regex = '^(?!(?:'+'|'.join(drop_column_names)+')$)'
print('Dropping columns:',', '.join([c for c in df.columns if re.search(drop_columns_regex,c)]))
df = df.filter(regex=drop_columns_regex,axis=1)

— BSalita
источник

Удалите столбцы, имя которых содержит определенную строку из pandas DataFrame

Дешевле, быстрее и идиоматичнее: str.contains

Дешевле, быстрее и идиоматичнее: `str.contains`