Я использую sklearn, и у меня проблема с распространением сродства. Я построил матрицу ввода и продолжаю получать следующую ошибку.

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

Я бежал

np.isnan(mat.any()) #and gets False
np.isfinite(mat.all()) #and gets True

Я пробовал использовать

mat[np.isfinite(mat) == True] = 0

чтобы удалить бесконечные значения, но это тоже не сработало. Что я могу сделать, чтобы избавиться от бесконечных значений в моей матрице, чтобы я мог использовать алгоритм распространения сродства?

Я использую анаконду и python 2.7.9.

Это может произойти внутри scikit, и это зависит от того, что вы делаете. Я рекомендую прочитать документацию по используемым вами функциям. Возможно, вы используете тот, который зависит, например, от того, является ли ваша матрица положительно определенной и не соответствует этим критериям.

РЕДАКТИРОВАТЬ : Как я мог пропустить это:

np.isnan(mat.any()) #and gets False
np.isfinite(mat.all()) #and gets True

очевидно неверно. Правильно было бы:

np.any(np.isnan(mat))

и

np.all(np.isfinite(mat))

Вы хотите проверить, является ли какой-либо элемент NaN, а не является ли возвращаемое значение anyфункции числом ...

У меня такое же сообщение об ошибке при использовании sklearn с пандами . Мое решение - сбросить индекс моего фрейма данных dfперед запуском любого кода sklearn:

df = df.reset_index()

Я сталкивался с этой проблемой много раз, когда удалял некоторые записи в моем df, например

df = df[df.label=='desired_one']

Это моя функция ( в зависимости от этого ) , чтобы очистить набор данных nan, Infи отсутствие клеток (для перекошенных наборов данных):

import pandas as pd

def clean_dataset(df):
    assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
    df.dropna(inplace=True)
    indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf]).any(1)
    return df[indices_to_keep].astype(np.float64)

Размеры моего входного массива были искажены, так как в моем входном CSV были пустые места.

Это проверка, на которой он терпит неудачу:

• https://github.com/scikit-learn/scikit-learn/blob/0.17.X/sklearn/utils/validation.py#L51

Что говорит

def _assert_all_finite(X):
    """Like assert_all_finite, but only for ndarray."""
    X = np.asanyarray(X)
    # First try an O(n) time, O(1) space solution for the common case that
    # everything is finite; fall back to O(n) space np.isfinite to prevent
    # false positives from overflow in sum method.
    if (X.dtype.char in np.typecodes['AllFloat'] and not np.isfinite(X.sum())
            and not np.isfinite(X).all()):
        raise ValueError("Input contains NaN, infinity"
                         " or a value too large for %r." % X.dtype)

Поэтому убедитесь, что у вас есть значения, отличные от NaN. И все эти значения на самом деле являются значениями с плавающей запятой. Ни одно из значений также не должно быть Inf.

В этой версии Python 3:

/opt/anaconda3/bin/python --version
Python 3.6.0 :: Anaconda 4.3.0 (64-bit)

Просматривая детали ошибки, я обнаружил строки кода, вызывающие сбой:

/opt/anaconda3/lib/python3.6/site-packages/sklearn/utils/validation.py in _assert_all_finite(X)
     56             and not np.isfinite(X).all()):
     57         raise ValueError("Input contains NaN, infinity"
---> 58                          " or a value too large for %r." % X.dtype)
     59 
     60 

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

Исходя из этого, я смог извлечь правильный способ проверить, что происходит с моими данными, используя тот же тест, который не соответствует сообщению об ошибке: np.isfinite(X)

Затем с помощью быстрого и грязного цикла я смог обнаружить, что мои данные действительно содержат nans:

print(p[:,0].shape)
index = 0
for i in p[:,0]:
    if not np.isfinite(i):
        print(index, i)
    index +=1

(367340,)
4454 nan
6940 nan
10868 nan
12753 nan
14855 nan
15678 nan
24954 nan
30251 nan
31108 nan
51455 nan
59055 nan
...

Теперь все, что мне нужно сделать, это удалить значения в этих индексах.

У меня возникла ошибка после попытки выбрать подмножество строк:

df = df.reindex(index=my_index)

Оказывается, они my_indexсодержали значения, которых не было df.index, поэтому функция переиндексации вставила несколько новых строк и заполнила их nan.

В большинстве случаев избавление от бесконечных и нулевых значений решает эту проблему.

избавиться от бесконечных ценностей.

df.replace([np.inf, -np.inf], np.nan, inplace=True)

избавьтесь от нулевых значений, как вам нравится, конкретное значение, такое как 999, среднее значение, или создайте свою собственную функцию для вменения отсутствующих значений

df.fillna(999, inplace=True)

У меня была такая же ошибка, и в моем случае X и y были фреймами данных, поэтому мне пришлось сначала преобразовать их в матрицы:

X = X.values.astype(np.float)
y = y.values.astype(np.float)

Edit: Первоначально предполагалось X.as_matrix () является Устаревшее

у меня такая же ошибка. он работал df.fillna(-99999, inplace=True)до замены, замены и т. д.

В моем случае проблема заключалась в том, что многие функции scikit возвращают массивы numpy, которые лишены индекса pandas. Таким образом, было несоответствие индексов, когда я использовал эти массивы numpy для создания новых DataFrames, а затем я попытался смешать их с исходными данными.

Удалите все бесконечные значения:

(и замените на min или max для этого столбца)

# find min and max values for each column, ignoring nan, -inf, and inf
mins = [np.nanmin(matrix[:, i][matrix[:, i] != -np.inf]) for i in range(matrix.shape[1])]
maxs = [np.nanmax(matrix[:, i][matrix[:, i] != np.inf]) for i in range(matrix.shape[1])]

# go through matrix one column at a time and replace  + and -infinity 
# with the max or min for that column
for i in range(log_train_arr.shape[1]):
    matrix[:, i][matrix[:, i] == -np.inf] = mins[i]
    matrix[:, i][matrix[:, i] == np.inf] = maxs[i]

пытаться

mat.sum()

Если сумма ваших данных бесконечна (больше, чем максимальное значение с плавающей запятой, равное 3,402823e + 38), вы получите эту ошибку.

см. функцию _assert_all_finite в validation.py из исходного кода scikit:

if is_float and np.isfinite(X.sum()):
    pass
elif is_float:
    msg_err = "Input contains {} or a value too large for {!r}."
    if (allow_nan and np.isinf(X).any() or
            not allow_nan and not np.isfinite(X).all()):
        type_err = 'infinity' if allow_nan else 'NaN, infinity'
        # print(X.sum())
        raise ValueError(msg_err.format(type_err, X.dtype))