Какова связь между R-квадратом и р-значением в регрессии?

tl; dr - для регрессии OLS, более высокий R-квадрат также подразумевает более высокое P-значение? В частности, для одной объясняющей переменной (Y = a + bX + e), но было бы также интересно узнать для n нескольких объясняющих переменных (Y = a + b1X + ... bnX + e).

Контекст - я выполняю регрессию OLS для ряда переменных и пытаюсь разработать наилучшую объяснительную функциональную форму, создав таблицу со значениями R-квадрата между линейными, логарифмическими и т. Д. Преобразованиями каждой объяснительной (независимой) переменной и ответная (зависимая) переменная. Это выглядит примерно так:

Имя переменной - линейная форма - --ln (переменная) --exp (переменная) - ... и т. Д.

Переменная 1 ------- R-квадрат ---- R-квадрат ---- R-квадрат -
... и т.д ...

Мне интересно, является ли R-квадрат уместным или P-значения были бы лучше. Предположительно, есть некоторые отношения, так как более значимые отношения подразумевают более высокую объяснительную силу, но не уверены, верно ли это в строгой форме.

Ответ - нет, такой регулярной зависимости между и р-значением общей регрессии не существует, поскольку R 2 зависит как от дисперсии независимых переменных, так и от дисперсии невязок (к которой она обратно пропорциональна). пропорционально), и вы можете изменять дисперсию независимых переменных на произвольные величины.$R^2$$R^2$

В качестве примера рассмотрим любой набор многомерных данных где i индексирует случаи, и предположим, что набор значений первой независимой переменной { x i 1 } , имеет уникальный максимум x ∗, отделенный от второго по величине значения положительным значением $((x_{i1}, x_{i2}, \ldots, x_{ip}, y_i))$$i$$\{x_{i1}\}$$x^*$$\epsilon$ . Применить нелинейное преобразование первой переменной, которое отправляет все значения меньше к диапазону [ 0 , 1 ] и отправляет сам x ∗ к некоторому большому значению M ≫ 1 . Для любого такого M это может быть сделано, например, подходящим (масштабированным) преобразованием Бокса-Кокса x → a ( ( x - x 0 ) λ - 1 ) / ( λ - 1 ) ) , поэтому мы не говорим о ничего странного или "патологического". Тогда как$x^* - \epsilon/2$$[0,1]$$x^*$$M \gg 1$$M$$x \to a((x-x_0)^\lambda - 1)/(\lambda-1))$$M$растет произвольно большим, приближается к 1 так близко, как вам угодно, независимо от того, насколько плохое совпадение, потому что дисперсия остатков будет ограничена, в то время как дисперсия первой независимой переменной асимптотически пропорциональна M 2 .$R^2$$1$$M^2$

Вместо этого вы должны использовать тесты на пригодность (среди прочих методов), чтобы выбрать подходящую модель в своем исследовании: вам следует позаботиться о линейности подгонки и гомоскедастичности остатков. И не берите никаких p-значений из полученной регрессии на доверие: они окажутся почти бессмысленными после того, как вы прошли это упражнение, потому что их интерпретация предполагает, что выбор выражения независимых переменных не зависел от значений зависимая переменная вообще, что здесь очень не так.

Этот ответ не имеет прямого отношения к центральному вопросу; это не более чем дополнительная информация, которая слишком длинна для комментария.

Я указываю на это, потому что эконометрический вопрос, несомненно, встретит эту информацию или что-то подобное в какой-то момент (заявив, что и R $F$$R^2$ являются связаны) и удивление , если информация , представленная в других ответах здесь неправильно - это не так - но я думаю , это платит, чтобы быть ясным о том, что происходит.

Существует связь при определенных обстоятельствах; если вы держите число наблюдений и количество предикторов, фиксированных для данной модели, фактически является монотонным в R 2 , поскольку$F$$R^2$

(Если вы разделите числитель и знаменатель на и вытяните константы из k , вы увидите, что 1 / F ∝ 1 / R 2 - 1, если вы держите N и k постоянными.)$R^2$$k$$1/F \propto 1/R^2 - 1$$N$$k$

Поскольку для фиксированного df и p-значения являются монотонно связанными, R 2 и p- значение также являются монотонно связанными.$F$$R^2$$p$

Но измените почти что-нибудь о модели, и эти отношения не сохраняются в изменившихся обстоятельствах.

Например, добавление точки делает больше, а удаление одной делает ее меньше, но выполнение может увеличить или уменьшить R 2 , так что похоже, что F и R 2 не обязательно движутся вместе, если Вы добавляете или удаляете данные. Добавление переменной уменьшает ( N - k ) / ( k - 1 ), но увеличивает R 2 (и наоборот), поэтому, опять же, R 2 не обязательно связан с$(N-k)/(k-1)$$R^2$$F$$R^2$ $(N-k)/(k-1)$$R^2$$R^2$ когда вы делаете это.$F$

Очевидно, что когда вы сравниваете и р -значение по моделям с различными характеристиками, эта связь не обязательно проводить, так как whuber доказана в случае нелинейных преобразований.$R^2$$p$

«Для регрессии МНК более высокий R-квадрат также подразумевает более высокое значение P? В частности, для одной объясняющей переменной (Y = a + bX + e)»

$R^2$$F$$t$). Например, как объяснено в этом другом вопросе ( высокий$R^2$ квадрат и высокий $p$-значение для простой линейной регрессии) for the simple linear regression with one covariate (and a constant), the relationship between $t$ и $R^2$ является:

$|t| = \sqrt{\frac{R^2}{(1- R^2)}(n -2)}$

Так что в этом случае, как только вы исправите $n$чем выше $R^2$ чем выше $t$ статистика и ниже р-значение.

«но также было бы интересно узнать для n нескольких объясняющих переменных (Y = a + b1X + ... bnX + e)».

Ответ тот же, но вместо того, чтобы рассматривать только одну переменную, теперь мы смотрим на все переменные вместе - отсюда $F$статистика, как показал Glen_b. И здесь вы должны исправить оба$n$и количество параметров. Или, лучше сказать, исправить степень свободы.

Контекст - я выполняю регрессию OLS для ряда переменных и пытаюсь разработать лучшую объяснительную функциональную форму (...)

Итак, это на самом деле другая проблема. Если вы смотрите на лучшую объяснительную функциональную форму, вы должны также взглянуть на методы перекрестной проверки . Даже если$R^2$ является интересным для вашей проблемы (обычно это не так), поиск наилучшего соответствия в выборке может быть очень обманчивым - вы обычно хотите, чтобы ваши выводы обобщались из выборки, а правильная перекрестная проверка может помочь вам не перегружать ваши данные слишком много.

И здесь я предполагаю, что вам нужна «предсказательная» сила (поскольку вы говорите, что хотите найти «лучшую объяснительную функциональную форму»). Если вы хотите сделать причинный вывод, например, то$R^2$ или другие прогнозирующие показатели производительности мало помогают без более структурного / существенного знания проблемы.