Почему мой R-квадрат такой низкий, когда моя t-статистика такая большая?

17

Я выполнил регрессию с 4 переменными, и все они очень статистически значимы, со значениями T и (я говорю потому что кажется неуместным включать десятичные дроби), которые очень высоки и явно значимы. Но тогда только 2284. Я неверно истолковываю здесь значения t, чтобы обозначать то, чем они не являются? Моя первая реакция при просмотре значений t состояла в том, что будет довольно высоким, но, может быть, это высокое ? $\approx 7,9,26$ $31$ $\approx$ $R^2$ $R^2$ $R^2$

regression hypothesis-testing econometrics

— рукав моря
источник

1

Могу поспорить, твой умеренно большой, верно?

n

$n$

— Glen_b

@Glen_b да, около 6000.

— Кайл

10

Тогда большая -статистика, связанная с малым , совершенно непримечательна. Поскольку стандартные ошибки уменьшаются как , отношения будут увеличиваться как

t

$t$

R^{2}

$R^2$

1 / \sqrt{n}

$1/\sqrt{n}$

t

$t$

\sqrt{n}

$\sqrt{n}$ , в то время как

будет стремиться оставаться постоянным с увеличением

. Почему тебя волнует, что такое

? Почему тебя волнует, каковы т-отношения?

R^{2}

$R^2$

n

$n$

R^{2}

$R^2$

— Glen_b

45

В $t$ -значение и $R^2$ используются для оценки очень разных вещей. Значения $t$ используются для оценки точности вашей оценки $\beta_i$ , но $R^2$ измеряет величину вариации вашей переменной отклика, объясненную вашими ковариатами. Предположим, вы оцениваете регрессионную модель с $n$ наблюдениями,

Y_{i} = β_{0} + β_{1} X_{1 i} + . . . + β_{k} X_{k i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1X_{1i} + ...+ \beta_kX_{ki}+\epsilon_i$

где $\epsilon_i\overset{i.i.d}{\sim}N(0,\sigma^2)$ , $i=1,...,n$ .

Большие $t$ (в абсолютном значении) приводят к отказу от нулевой гипотезы, что $\beta_i=0$ . Это означает, что вы можете быть уверены, что правильно оценили знак коэффициента. Также, если $|t|$ > 4 и у вас $n>5$ , то 0 не находится в доверительном интервале 99% для коэффициента. Значение $t$ для коэффициента $\beta_i$ является разностью между оценкой $\hat{\beta_i}$ и 0, нормированной стандартной ошибкой $se\{\hat{\beta_i}\}$ .

t = \frac{\hat{β_{i}}}{s e {\hat{β_{i}}}}

$t=\frac{\hat{\beta_i}}{se\{\hat{\beta_i}\}}$

которая является просто оценкой, деленной на меру ее изменчивости. Если у вас достаточно большой набор данных, у вас всегда будут статистически значимые (большие) $t$ . Это не обязательно означает, что ваши ковариаты объясняют большую часть различий в переменной ответа.

Как уже упоминалось в @Stat, $R^2$ измеряет количество вариаций в вашей переменной ответа, объясняемое вашими зависимыми переменными. Чтобы узнать больше о $R^2$ , перейдите в Википедию . В вашем случае оказывается, что у вас достаточно большой набор данных для точной оценки $\beta_i$ , но ваши ковариаты плохо справляются с объяснением и \ или прогнозированием значений ответа.

— caburke
источник

1

(+1) С самого начала ясно, что это продуманное, информативное объяснение.

— whuber

Хороший ответ. Я считаю, что термины «практическая значимость» и «статистическая значимость» часто помогают размышлять над этой проблемой.

— Аарон - Восстановить Монику

3

Существует также простое преобразование между двумя статистиками:

R^{2} = \frac{t^{2}}{t^{2} + d f}

$R^2=\frac{t^2}{t^2+df}$

— Джефф

7

Сказать то же самое, что и Caburke, но проще: вы очень уверены, что средний отклик, вызванный вашими переменными, не равен нулю. Но есть много других вещей, которых у вас нет в регрессии, которые вызывают скачок ответа.

— generic_user
источник

0

Может ли быть так, что, хотя ваши предикторы имеют линейную тенденцию в терминах вашей переменной ответа (наклон значительно отличается от нуля), что делает значения t значимыми, но R в квадрате низок, потому что ошибки велики, что означает, что изменчивость в у вас большие данные и, следовательно, ваша регрессионная модель не подходит (прогнозы не так точны)?

Просто мои 2 цента.

Возможно, этот пост может помочь: http://blog.minitab.com/blog/adventures-in-statistics/how-to-interpret-a-regression-model-with-low-r-squared-and-low-p- ценности

— Mel
источник

0

Несколько ответов даны близко, но все же неправильно.

«Значения t используются для оценки точности вашей оценки βi» - это то, что беспокоит меня больше всего.

Т-значение является просто показателем вероятности случайного появления. Большие средства вряд ли. Малый значит очень вероятно. Положительное и отрицательное значения не имеют для интерпретации вероятности.

«R2 измеряет количество вариаций в вашей переменной ответа, объясненной вашими ковариатами» правильно.

(Я бы прокомментировал, но пока не допускается этой платформой.)

— Kevin
источник

2

Вы, кажется, пишете о t-значениях, как если бы они были p-значениями.

— whuber

-4

Единственный способ справиться с маленьким квадратом R, проверить следующее:

Ваш размер выборки достаточно велик? Если да, выполните шаг 2., но если нет, увеличьте размер выборки.
Сколько ковариат вы использовали для оценки вашей модели? Если больше 1, как в вашем случае, решите проблему мультиколлинеарности ковариат или просто запустите регрессию снова и на этот раз без константы, известной как бета-ноль.
Однако, если проблема все еще сохраняется, выполните пошаговую регрессию и выберите модель с высоким R в квадрате. Но что я не могу рекомендовать вам, потому что это вызывает уклон в ковариатах

— katleho
источник