Преобразование стандартизированных бета-версий обратно в исходные переменные

Я понимаю, что это, вероятно, очень простой вопрос, но после поиска я не могу найти ответ, который ищу.

У меня есть проблема, когда мне нужно стандартизировать переменные, запустить (регрессия гребня), чтобы вычислить оценки гребня бета-версий.

Затем мне нужно преобразовать их обратно в исходную шкалу переменных.

Но как мне это сделать?

Я нашел формулу для двумерного случая, что

β^{*} = \hat{β} \frac{S_{x}}{S_{y}} .

$\beta^* = \hat\beta \frac{S_x}{S_y} \>.$

Это было дано в D. Gujarati, Basic Econometrics , стр. 175, формула (6.3.8).

Где - это оценки из регрессионного прогона по стандартизированным переменным, а - это тот же оценщик, преобразованный обратно в исходную шкалу, - стандартное отклонение выборки регрессии, а - стандартное отклонение выборки. $\beta^*$ $\hat\beta$ $S_y$ $S_x$

К сожалению, книга не охватывает аналогичный результат для множественной регрессии.

Также я не уверен, что понимаю двумерный случай? Простая алгебраическая манипуляция дает формулу для в исходном масштабе: $\hat\beta$

\hat{β} = β^{*} \frac{S_{y}}{S_{x}}

$\hat\beta=\beta^* \frac{S_y}{S_x}$

Мне кажется странным, что которые были рассчитаны на переменные, которые уже спущены с помощью , должны быть снова спущены с помощью для преобразования обратно? (Плюс, почему средние значения не добавляются обратно?) $\hat\beta$ $S_x$ $S_x$

Итак, может кто-нибудь объяснить, как это сделать для многомерного случая в идеале с деривацией, чтобы я мог понять результат?

— Baz
источник

Для модели регрессии, использующей стандартизированные переменные, мы принимаем следующую форму для линии регрессии

E [Y] = β_{0} + \sum_{j = 1}^{k} β_{j} z_{j},

$\mathbb E[Y] =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j},$

где - это j-й (стандартизированный) регрессор, сгенерированный из путем вычитания среднего значения выборки и деления на стандартное отклонение выборки : $z_{j}$ $x_j$ $\bar x_j$ $S_j$

z_{j} = \frac{x_{j} - {\bar{x}}_{j}}{S_{j}}

$z_j = \frac{x_j - \bar{x}_j}{S_j}$

Выполняя регрессию с помощью стандартизированных регрессоров, мы получаем подогнанную линию регрессии:

\hat{Y} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} z_{j}

$\hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}z_{j}$

Теперь мы хотим найти коэффициенты регрессии для нестандартизированных предикторов. У нас есть

\hat{Y} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{x_{j} - {\bar{x}}_{j}}{S_{j}})

$\hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right)$

Переупорядочив, это выражение можно записать как

\hat{Y} = ({\hat{β}}_{0} - \sum_{j = 1}^{k} {\hat{β}}_{j} \frac{{\bar{x}}_{j}}{S_{j}}) + \sum_{j = 1}^{k} (\frac{{\hat{β}}_{j}}{S_{j}}) x_{j}

$\hat Y = \left( \hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j} \right) + \sum_{j=1}^k \left(\frac{\hat \beta_j}{S_j}\right) x_j$

Как мы видим, перехват для регрессии с использованием нетрансформированных переменных задается как . Коэффициент регрессии предиктора равен . $\hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j}$ $j$ $\frac{\hat \beta_j}{S_j}$

В представленном случае я предположил, что только предикторы были стандартизированы. Если кто-то также стандартизирует переменную отклика, преобразование ковариатных коэффициентов обратно в исходную шкалу выполняется с использованием формулы из ссылки, которую вы дали. У нас есть:

\frac{E [Y] - \hat{y}}{S_{y}} = β_{0} + \sum_{j = 1}^{k} β_{j} z_{j}

$\frac{\mathbb E[Y] - \hat y}{S_y} =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j}$

Выполняя регрессию, получим подогнанное уравнение регрессии

{\hat{Y}}_{s c a l e d} = \frac{{\hat{Y}}_{u n s c a l e d} - \bar{y}}{S_{y}} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{x_{j} - {\bar{x}}_{j}}{S_{j}}),

$\hat Y_{scaled} = \frac{\hat Y_{unscaled} - \bar y}{S_y} = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right),$

где установленные значения находятся на шкале стандартизированного ответа. Чтобы их масштабировать и восстановить оценки коэффициентов для нетрансформированной модели, мы умножим уравнение на и среднее значение для другой стороны: $S_y$ $y$

{\hat{Y}}_{u n s c a l e d} = {\hat{β}}_{0} S_{y} + \bar{y} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{S_{y}}{S_{j}}) (x_{j} - {\bar{x}}_{j}) .

$\hat Y_{unscaled} = \hat \beta_0 S_y + \bar y +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{S_y}{S_j}\right) (x_j - \bar{x}_j).$

Следовательно, соответствующая модели, в которой ни ответ, ни предикторы не были стандартизированы, определяется как , в то время как ковариатные коэффициенты для интересующей модели могут быть получены путем умножения каждого коэффициента на . $\hat \beta_0 S_y + \bar y - \sum_{j=1}^k \hat \beta_j \frac{S_y}{S_j}\bar x_j$ $S_y / S_j$

— Филипп Буркхардт
источник