Замена Pandas или Numpy Nan на None для использования с MysqlDB

Я пытаюсь записать фреймворк Pandas (или можно использовать массив numpy) в базу данных mysql с помощью MysqlDB. MysqlDB, похоже, не понимает "nan", и моя база данных выдает ошибку, говоря, что nan отсутствует в списке полей. Мне нужно найти способ преобразовать «nan» в NoneType.

Любые идеи?

@bogatron прав, вы можете использовать where, стоит отметить, что вы можете сделать это изначально в пандах:

df1 = df.where(pd.notnull(df), None)

Примечание: это изменяет dtype всех столбцов на object.

Пример:

In [1]: df = pd.DataFrame([1, np.nan])

In [2]: df
Out[2]: 
    0
0   1
1 NaN

In [3]: df1 = df.where(pd.notnull(df), None)

In [4]: df1
Out[4]: 
      0
0     1
1  None

Примечание: то, что вы не можете сделать, переделать DataFrames, dtypeчтобы разрешить все типы данных, используя astype, а затем fillnaметод DataFrame :

df1 = df.astype(object).replace(np.nan, 'None')

К сожалению , ни этого, ни с помощью replace, работа с Noneувидеть это (закрытый) вопрос .

В стороне, стоит отметить, что для большинства случаев использования вам не нужно заменять NaN на None, см. Этот вопрос о разнице между NaN и None в пандах .

Однако в этом конкретном случае кажется, что да (по крайней мере, на момент этого ответа).

df = df.replace({np.nan: None})

Благодарим этого парня за этот вопрос с Github .

Вы можете заменить nanс Noneвашей Numpy массива:

>>> x = np.array([1, np.nan, 3])
>>> y = np.where(np.isnan(x), None, x)
>>> print y
[1.0 None 3.0]
>>> print type(y[1])
<type 'NoneType'>

После спотыкания это сработало для меня:

df = df.astype(object).where(pd.notnull(df),None)

Просто дополнение к ответу @Andy Hayden:

Поскольку DataFrame.maskэто противоположный двойник DataFrame.where, у них точно такая же сигнатура, но с противоположным значением:

• DataFrame.whereполезен для замены значений, когда условие ложно .
• DataFrame.maskиспользуется для замены значений, если условие истинно .

Итак, в этом вопросе использование df.mask(df.isna(), other=None, inplace=True)может быть более интуитивным.

Еще одно дополнение: будьте осторожны при замене кратных и преобразовании типа столбца обратно из объекта в число с плавающей запятой . Если вы хотите быть уверены, что ваш None's не вернется к предложению np.NaN' apply @andy-hayden 'с использованием pd.where. Иллюстрация того, как замена может пойти не так:

In [1]: import pandas as pd

In [2]: import numpy as np

In [3]: df = pd.DataFrame({"a": [1, np.NAN, np.inf]})

In [4]: df
Out[4]:
     a
0  1.0
1  NaN
2  inf

In [5]: df.replace({np.NAN: None})
Out[5]:
      a
0     1
1  None
2   inf

In [6]: df.replace({np.NAN: None, np.inf: None})
Out[6]:
     a
0  1.0
1  NaN
2  NaN

In [7]: df.where((pd.notnull(df)), None).replace({np.inf: None})
Out[7]:
     a
0  1.0
1  NaN
2  NaN

Довольно старый, но я наткнулся на ту же проблему. Попробуйте сделать это:

df['col_replaced'] = df['col_with_npnans'].apply(lambda x: None if np.isnan(x) else x)