ValueError: Входные данные содержат NaN, бесконечность или значение, слишком большое для dtype ('float32')

Я получил ValueError при прогнозировании тестовых данных с использованием модели RandomForest.

Мой код:

clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2)
clf.fit(X_fit, y_fit)

df_test.fillna(df_test.mean())
X_test = df_test.values  
y_pred = clf.predict(X_test)

Ошибка:

ValueError: Input contains NaN, infinity or a value too large for dtype('float32').

Как найти неверные значения в тестовом наборе данных? Кроме того, я не хочу отбрасывать эти записи, могу ли я просто заменить их средним или медианным?

Спасибо.

С np.isnan(X)вами вы получите логическую маску обратно с True для позиций, содержащих NaNs.

С np.where(np.isnan(X))тобой вернемся кортеж с i, j координатами NaNs.

Наконец, с np.nan_to_num(X)вами «замените nan с нулем, а inf с конечными числами».

В качестве альтернативы вы можете использовать:

• sklearn.impute.SimpleImputer для среднего / медианного вменения пропущенных значений, или
• pandas ' pd.DataFrame(X).fillna(), если вам нужно что-то кроме заполнения нулями.

Предполагая, X_testчто это pandas dataframe, вы можете использовать DataFrame.fillnaдля замены значений NaN на среднее:

X_test.fillna(X_test.mean())

Для любого, кто сталкивается с этим, чтобы на самом деле изменить оригинал:

X_test.fillna(X_train.mean(), inplace=True)

Чтобы перезаписать оригинал:

X_test = X_test.fillna(X_train.mean())

Чтобы проверить, находитесь ли вы в копии против вида:

X_test._is_view

Не забывай

col_mask=df.isnull().any(axis=0) 

Который возвращает логическую маску, указывающую значения np.nan.

row_mask=df.isnull().any(axis=1)

Которые возвращают строки, где появился np.nan. Затем с помощью простой индексации вы можете пометить все ваши точки, которые являются np.nan.

df.loc[row_mask,col_mask]

Не забудьте также проверить значения inf. Единственное, что сработало для меня:

df[df==np.inf]=np.nan
df.fillna(df.mean(), inplace=True)

И даже лучше, если вы используете Sklearn

def replace_missing_value(df, number_features):

    imputer = Imputer(strategy="median")
    df_num = df[number_features]
    imputer.fit(df_num)
    X = imputer.transform(df_num)
    res_def = pd.DataFrame(X, columns=df_num.columns)
    return res_def

Когда number_features будет массивом меток number_features, например:

number_features = ['median_income', 'gdp']

Я столкнулся с подобной проблемой и увидел, что numy обрабатывает NaN и Inf по-разному.
Если у вас есть данные Inf, попробуйте это:

np.where(x.values >= np.finfo(np.float64).max)
Where x is my pandas Dataframe 

Это даст кортеж мест, где присутствуют значения NA.

Если ваши данные содержат Nan, попробуйте это:

np.isnan(x.values.any())

В большинстве случаев избавление от бесконечных и нулевых значений решает эту проблему.

избавиться от бесконечных ценностей.

df.replace([np.inf, -np.inf], np.nan, inplace=True)

избавьтесь от нулевых значений так, как вам нравится, от конкретного значения, такого как 999, до среднего или создайте свою собственную функцию для вменения пропущенных значений

df.fillna(999, inplace=True)

или

df.fillna(df.mean(), inplace=True)

Если ваши значения больше чем float32, попробуйте сначала запустить какой-нибудь скейлер . Было бы довольно необычно иметь отклонение, охватывающее более чем float32.

Вот код для того, как «Заменить NaN нулем, а бесконечность большими конечными числами». используя numpy.nan_to_num .

df[:] = np.nan_to_num(df)

Также см . Ответ Фернандо .