Что означает отрицательный R-квадрат?

Допустим, у меня есть некоторые данные, а затем я подгоняю данные с помощью модели (нелинейная регрессия). Затем я вычисляю R-квадрат ( $R^2$ ).

Когда R-квадрат отрицательный, что это значит? Значит ли это, что моя модель плохая? Я знаю, что диапазон $R^2$ может быть [-1,1]. Когда $R^2$ равен 0, что это также означает?

— RockTheStar
источник

Это означает, что вы сделали что-то не так, поскольку

R^{2}

$R^2$ лежит в

[0, 1]

$[0, 1]$ .

R^{2}

$R^2$ скорректированный с другой стороны, может быть отрицательным, что можно с уверенностью предположить, что ваша модель очень плохо соответствует данным. Когда

R^{2}

$R^2$ точно равен нулю, это означает, что

\bar{y}

$\bar{y}$ является таким же хорошим предиктором как и сама линия регрессии наименьших квадратов.

y

$y$

— dsaxton

Это возможно для регрессии без перехвата смотри , например , stats.stackexchange.com/questions/164586/...

а также stats.stackexchange.com/questions/171240/...

Связанный: Когда R в квадрате отрицательный?

— gung - Восстановить Монику

@ Gung Я собирался предположить, что это, возможно, дубликат этого вопроса ... Как вы думаете, они достаточно различны? (Во всяком случае, этот вопрос кажется более приятным, чем другой, потому что нет отвлекающего синтаксиса SPSS, но ответы в другой ветке очень хороши и, кажется, тоже охватывают этот вопрос.)

— Silverfish,

Ответы:

может быть отрицательным, это просто означает, что: $R^2$

Модель очень плохо вписывается в ваши данные
Вы не установили перехват

Для людей, которые говорят, что находится между 0 и 1, это не так. Хотя отрицательное значение для чего-либо со словом «квадрат» может звучать так, как будто оно нарушает правила математики, это может произойти в модели без перехвата. Чтобы понять почему, нам нужно посмотреть, как рассчитывается . $R^2$ $R^2$ $R^2$

Это немного долго. Если вы хотите получить ответ, не понимая его, переходите к концу. В противном случае я попытался написать это простыми словами.

Во- первых, давайте определим 3 переменные: , и . $RSS$ $TSS$ $ESS$

Расчет RSS :

Для каждой независимой переменной мы имеем зависимую переменную . Мы строим линейную линию наилучшего соответствия, которая предсказывает значение для каждого значения . Давайте называть значения линии предсказывает . Ошибка между тем, что предсказывает ваша линия, и фактическимзначением может быть вычислена как вычитание. Все эти различия возводятсяквадрат и суммируются, что дает Остаточная сумма квадратов . $x$ $y$ $y$ $x$ $y$ $\hat y$ $y$ $RSS$

Полагая , что в уравнение, $RSS = \sum (y - \hat y)^2$

Расчет TSS :

Мы можем рассчитать среднее значение , которое называется $y$ $\bar y$ . Если мы , то это просто горизонтальная линия через данные, потому что она постоянна. Что мы можем сделать с этим, однако, вычесть (среднее значение ) из каждого фактического значения . Результат в квадрат и суммируются, что дает общую сумму квадратов . $\bar y$ $\bar y$ $y$ $y$ $TSS$

Подставляя это в уравнение $TSS = \sum (y - \bar y)^2$

Расчет ESS :

Различия между (значения предсказанной линия) и среднее значение $\hat y$ $y$ возводятсяквадрат и суммируются. Это Разъяснение сумма квадратов, которая равна $\bar y$ $\sum (\hat y - \bar y)^2$

Помните, что , но мы можем добавить в нее, потому что она отменяет вне. Таким образом, $TSS = \sum (y - \bar y)^2$ $+ \hat y - \hat y$ . Расширение этих скобок, мы получаем $TSS = \sum (y - \hat y + \hat y -\bar y)^2$ $TSS = \sum (y - \hat y)^2 + 2* \sum (y - \hat y)(\hat y - \bar y) + \sum (\hat y - \bar y)^2$

Когда, и только тогда , когда линия вычерчивается с перехватом, следующий всегда верно: . Таким образом, , который можно заметить только означает , что $2* \sum (y - \hat y)(\hat y - \bar y) = 0$ $TSS = \sum (y - \hat y)^2 + \sum (\hat y - \bar y)^2$ . Если мы разделим все члены на и переставим, получим $TSS = RSS + ESS$ $TSS$ . $1 - \frac {RSS}{TSS} = \frac {ESS}{TSS}$

Вот важная часть :

определяется как то, насколько дисперсия объясняется вашей моделью (насколько хороша ваша модель). В форме уравнения это $R^2$ . Выглядит знакомо? Когда линия построена с пересечением, мы можем заменить это как $R^2 = 1 - \frac {RSS}{TSS}$ . Поскольку числитель и демонинатор являются суммами квадратов,должен быть положительным. $R^2 = \frac {ESS}{TSS}$ $R^2$

НО

Когда мы не указываем перехват, не обязательно равен . Это означает , что . $2* \sum (y - \hat y)(\hat y - \bar y)$ $0$ $TSS = RSS + ESS + 2* \sum (y - \hat y)(\hat y - \bar y)$

Разделив все члены на , получим $TSS$ . $1 - \frac{RSS}{TSS} = \frac {ESS + 2* \sum (y - \hat y)(\hat y - \bar y)}{TSS}$

Наконец, подставим , чтобы получить . На этот раз в числителе есть термин, который не является суммой квадратов, поэтому он может быть отрицательным. Это сделало быотрицательным. Когда это произойдет? будет отрицательнымкогда отрицателен и положителен, или наоборот. Это происходиткогда горизонтальная линия фактически объясняет данные лучшечем линии наилучшего соответствия. $R^2 = \frac {ESS + 2* \sum (y - \hat y)(\hat y - \bar y)}{TSS}$ $R^2$ $2* \sum (y - \hat y)(\hat y - \bar y)$ $y - \hat y$ $\hat y - \bar y$ $\bar y$

Вот преувеличенный пример отрицательного значения (Источник: Университет Хьюстон Клир Лейк) $R^2$

Проще говоря:

Когда , горизонтальная линия объясняет данные лучше, чем ваша модель. $R^2 < 0$

Вы также спрашивали о . $R^2 = 0$

Когда , горизонтальная линия объясняет данные так же, как и вашу модель. $R^2 = 0$

Я рекомендую вам сделать это через это. Если вы посчитали это полезным, вы также должны подтвердить ответ fcop здесь, на который я должен был сослаться, потому что это было давно.

— Ян Ли
источник

Серьезно фантастический ответ! Единственное , чего не хватает для меня интуиция позади , почему

тогда и только тогда, когда существует множество перехватывать?

2 * \sum (y - \hat{y}) (\hat{y} - \bar{y}) = 0

$2* \sum (y - \hat y)(\hat y - \bar y) = 0$

— Оуэн

Пока ни один из ответов не является полностью правильным, поэтому я попытаюсь дать представление о R-Squared. Я дал более подробное объяснение этого в своем блоге здесь "Что такое R-Squared"

Сумма в квадрате Ошибка

Цель обычной регрессии по методу наименьших квадратов состоит в том, чтобы получить линию, которая минимизировала ошибку суммы в квадрате. Линия по умолчанию с минимальной квадратической ошибкой является горизонтальной линией через среднее значение. По сути, если вы не можете сделать лучше, вы можете просто предсказать среднее значение, и это даст вам минимальную квадратическую ошибку

R-Squared - это способ измерения, насколько лучше, чем средняя линия, которую вы сделали, на основе суммы квадратов ошибок. Уравнение для R-Squared является

Теперь SS Regression и SS Total являются суммами квадратов. Оба из них всегда положительны. Это означает, что мы берем 1 и вычитаем положительное значение. Таким образом, максимальное значение R-Squared имеет положительное значение 1, а минимальное - отрицательную бесконечность. Да, это правильно, диапазон R-квадратов находится между -infinity и 1, а не -1 и 1 и не 0 и 1

Что такое ошибка в квадрате суммы

Сумма квадрата ошибки - это ошибка в каждой точке, ее возведение в квадрат и сложение всех квадратов. Для общей ошибки он использует горизонтальную линию через среднее значение, потому что это дает наименьшую сумму квадратов ошибки, если у вас нет никакой другой информации, т.е. вы не можете выполнить регрессию.

Как уравнение именно это

Теперь с регрессом наша цель состоит в том, чтобы сделать лучше, чем среднее. Например, эта линия регрессии даст меньшую квадратическую ошибку, чем при использовании горизонтальной линии.

Уравнение для квадрата ошибки регрессии это

В идеале, у вас должна быть нулевая ошибка регрессии, т.е. ваша линия регрессии будет идеально соответствовать данным. В этом случае вы получите значение R-Squared 1

Отрицательный R в квадрате

Вся информация выше довольно стандартная. А как насчет отрицательного R-Squared?

Что ж, получается, что нет причины, по которой ваше уравнение регрессии должно давать меньшую квадратическую ошибку, чем среднее значение. Обычно считается, что если вы не можете сделать лучший прогноз, чем среднее значение, вы просто используете среднее значение, но ничто не заставляет это быть причиной. Например, вы можете предсказать медиану для всего.

На практике при обычной регрессии с наименьшим квадратом наиболее распространенным временем получения отрицательного значения R-квадрата является форсирование точки, через которую должна пройти линия регрессии. Обычно это делается установкой перехвата, но вы можете провести линию регрессии через любую точку.

Когда вы делаете это, линия регрессии проходит через эту точку и пытается получить ошибку минимальной суммы в квадрате, все еще проходя через эту точку.

По умолчанию в уравнениях регрессии в качестве точки, через которую проходит линия регрессии, используются среднее значение x и среднее значение y. Но если вы проведете его через точку, которая находится далеко от того места, где обычно находится линия регрессии, вы можете получить ошибку квадрата суммы, которая выше, чем при использовании горизонтальной линии

На изображении ниже обе линии регрессии были вынуждены иметь точку пересечения y, равную 0. Это вызвало отрицательный R-квадрат для данных, которые сильно смещены от начала координат.

Для верхнего набора точек, красных, линия регрессии является наилучшей из возможных линий регрессии, которая также проходит через начало координат. Просто случается, что эта линия регрессии хуже, чем при использовании горизонтальной линии, и, следовательно, дает отрицательный R-квадрат.

Неопределенный R-Squared

Существует один особый случай, о котором никто не упомянул, где вы можете получить неопределенный R-Squared. То есть, если ваши данные полностью горизонтальны, то ваша общая квадратичная ошибка равна нулю. В результате у вас будет ноль, деленный на ноль в уравнении R-квадрата, который не определен.

— Довольно ботаник
источник

очень яркий ответ, хотелось бы увидеть гораздо больше ответов такого типа!

— Бен

Как отмечает предыдущий комментатор, r ^ 2 находится между [0,1], а не [-1, + 1], поэтому нельзя быть отрицательным. Вы не можете возвести в квадрат значение и получить отрицательное число. Возможно, вы смотрите на корреляцию? Это может быть между [-1, + 1], где ноль означает, что нет никакой связи между переменными, -1 означает, что есть прекрасная отрицательная связь (когда одна переменная увеличивается, другая уменьшается), и +1 - это абсолютно положительный отношения (обе переменные идут вверх или вниз соответственно).

Если вы действительно смотрите на r ^ 2, то, как описывает предыдущий комментатор, вы, вероятно, видите скорректированное значение r ^ 2, а не фактическое значение r ^ 2. Подумайте, что означает статистика: я преподаю статистику по поведенческим наукам, и самый простой способ научить моих учеников значению r ^ 2 - это «% дисперсии объяснено». Таким образом, если у вас r ^ 2 = 0,5, модель объясняет 50% вариации зависимой (исходной) переменной. Если у вас отрицательный r ^ 2, это будет означать, что модель объясняет отрицательный% переменной результата, что не является интуитивно разумным предложением. Однако скорректированное значение r ^ 2 учитывает размер выборки (n) и количество предикторов (p). Формула для расчета здесь, Если у вас очень низкое значение r ^ 2, то получить отрицательные значения достаточно просто. Конечно, отрицательно скорректированное значение r ^ 2 не имеет более интуитивного значения, чем обычное значение r ^ 2, но, как говорит предыдущий комментатор, это просто означает, что ваша модель очень плохая, если не просто бесполезная.

— Джереми Таунсли
источник

Что касается объясненного процента дисперсии, возможно, если модель настолько плоха, что увеличивает дисперсию (ESS> TSS), можно получить отрицательный результат.

R^{2}

$R^2$ , где

R^{2}

$R^2$ определяется как% объясненной дисперсии, а не квадратной корреляции между фактическими и установленными значениями. Это может не произойти в регрессии с перехватом, оцененным OLS, но это может произойти в регрессии без перехвата или, возможно, в других случаях.

— Ричард Харди

R^{2}

$R^2$ невозможно быть

< 0

$<0$ в выборке, но может быть отрицательным при вычислении вне выборки , то есть в выборке удержания после фиксации всех коэффициентов регрессии. Как объяснено выше, это представляет худшие, чем случайные прогнозы.

— Фрэнк Харрелл

@FrankHarrell, вы уверены, что он должен быть в образце? Конечно, вам придется довольно сильно игнорировать данные, чтобы сгенерировать модель, которая хуже среднего, но я не понимаю, почему вы не можете сделать это только с данными в выборке.

— Мэтт Краузе

Я предполагаю в выборке средние выборки, по которым рассчитывались коэффициенты. Тогда не может быть отрицательным.

— Фрэнк Харрелл

@FrankHarrell, предположим, что модель действительно ужасна - вам подходит какая-то функция без перехвата, например

\sin (ω * x + ϕ)

$\sin(\omega*x + \phi)$ по диагонали. Не должен

R^{2}

$R^2$ быть отрицательным и здесь, даже для данных в выборке? Matlab дает мне достаточно большое отрицательное число, когда я это делаю ...

— Мэтт Краузе