Замена пустых значений (пробел) на NaN в пандах

Я хочу найти все значения в кадре данных Pandas, которые содержат пробелы (любое произвольное количество) и заменить эти значения на NaN.

Есть идеи, как это можно улучшить?

В основном я хочу включить это:

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux     

В это:

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

Мне удалось сделать это с кодом ниже, но человек это уродливо. Это не Pythonic, и я уверен, что это не самое эффективное использование панд тоже. Я перебираю каждый столбец и выполняю логическую замену для маски столбца, созданной с помощью функции, которая выполняет поиск регулярных выражений для каждого значения, сопоставляя его с пробелами.

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

Это можно было бы немного оптимизировать, просматривая только поля, которые могут содержать пустые строки:

if df[i].dtype == np.dtype('object')

Но это не так много улучшения

И наконец, этот код устанавливает целевые строки в None, что работает с функциями Pandas fillna(), но было бы неплохо для полноты, если бы я мог вставить NaNнепосредственно вместо None.

Я думаю, что df.replace()делает работу, так как панды 0,13 :

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))

Производит:

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

Как указал Темак , используйте, df.replace(r'^\s+$', np.nan, regex=True)если ваши действительные данные содержат пробелы.

Если вы хотите заменить пустую строку и записи только пробелами, правильный ответ :!

df = df.replace(r'^\s*$', np.nan, regex=True)

Принятый ответ

df.replace(r'\s+', np.nan, regex=True)

Не заменяет пустую строку !, вы можете попробовать себя с немного обновленным примером:

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'fo o', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', ''],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

Также обратите внимание, что «fo o» не заменяется на Nan, хотя он содержит пробел. Далее обратите внимание, что это просто:

df.replace(r'', np.NaN)

Также не работает - попробуйте.

Как насчет:

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

applymapФункция применяет функцию к каждой клетке dataframe.

Я сделал это:

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

или

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

Вы можете удалить все строки, а затем заменить пустые строки на np.nan.

Самое простое из всех решений:

df = df.replace(r'^\s+$', np.nan, regex=True)

Если вы экспортируете данные из CSV-файла, это может быть так просто:

df = pd.read_csv(file_csv, na_values=' ')

Это создаст фрейм данных, а также заменит пустые значения как Na

Для очень быстрого и простого решения, где вы проверяете равенство по одному значению, вы можете использовать maskметод.

df.mask(df == ' ')

Все они близки к правильному ответу, но я бы не сказал, что это решит проблему, оставаясь наиболее читабельным для других, читающих ваш код. Я бы сказал, что ответ - это комбинация ответа BrenBarn и комментария tuomasttik под этим ответом . В ответе BrenBarn используется isspaceвстроенная функция , но она не поддерживает удаление пустых строк в соответствии с запросом OP, и я склонен приписывать это стандартному сценарию замены строк на ноль.

Я переписал это с .apply, так что вы можете позвонить на pd.Seriesили pd.DataFrame.

Python 3:

Чтобы заменить пустые строки или строки полностью пробелов:

df = df.apply(lambda x: np.nan if isinstance(x, str) and (x.isspace() or not x) else x)

Чтобы заменить строки полностью пробелов:

df = df.apply(lambda x: np.nan if isinstance(x, str) and x.isspace() else x)

Чтобы использовать это в Python 2, вам нужно заменить strна basestring.

Python 2:

Чтобы заменить пустые строки или строки полностью пробелов:

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and (x.isspace() or not x) else x)

Чтобы заменить строки полностью пробелов:

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

Это сработало для меня. Когда я импортирую свой CSV-файл, я добавил na_values ​​= ''. Пробелы не включены в значения NaN по умолчанию.

df = pd.read_csv (filepath, na_values ​​= '')

Вы также можете использовать фильтр, чтобы сделать это.

df = PD.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '])
    df[df=='']='nan'
    df=df.astype(float)

print(df.isnull().sum()) # check numbers of null value in each column

modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"

# modifiedDf = fd.dropna() # Remove rows with empty values

print(modifiedDf.isnull().sum()) # check numbers of null value in each column

Это не элегантное решение, но, похоже, работает сохранение в XLSX и его импорт обратно. Другие решения на этой странице не работали для меня, не знаю почему.

data.to_excel(filepath, index=False)
data = pd.read_excel(filepath)