Является ли регрессия x на y явно лучше, чем y на x в этом случае?

Прибор, используемый для измерения уровня глюкозы в крови человека, контролируется на случайной выборке из 10 человек. Уровни также измеряются с использованием очень точной лабораторной процедуры. Мера инструмента обозначается х. Мера лабораторной процедуры обозначается у.

Я лично считаю, что y на x более правильное, потому что намерение состоит в том, чтобы использовать показания прибора для прогнозирования лабораторных показаний. И у на х минимизирует ошибки таких прогнозов.

Но ответ был х на у.

Многие лабораторные работы, особенно эксперименты по тестированию инструментов, применяют такую ​​регрессию.

Они утверждают, что из сбора данных в эксперименте, условия y контролируются, и получают x из показаний прибора (внося некоторую ошибку в него). Это исходная физическая модель эксперимента, поэтому ошибка x ~ y + является более подходящей.

Чтобы свести к минимуму ошибку эксперимента, иногда, если y контролируется в одном и том же состоянии, тогда x измеряется несколько раз (или повторяется эксперимент). Эта процедура может помочь вам понять логику, стоящую за ними, и найти ошибку x ~ y + более четко.

Как обычно бывает, разные анализы отвечают на разные вопросы. Здесь можно использовать как и X  на  Y , вы просто хотите убедиться, что ваш анализ соответствует вопросу, на который вы хотите ответить. (Более подробно вы можете прочитать мой ответ здесь: в чем разница между линейной регрессией на Y с X и X с Y? )$Y\text{ on }X$$X\text{ on }Y$

Вы правы , что если все , что вы хотите сделать , это предсказать наиболее вероятное значение , данное знание из X значения, вы бы регрессировать Y  на  X . Однако, если вы хотите понять, как эти показатели связаны друг с другом, вы можете использовать подход с ошибками в переменных , поскольку вы полагаете, что в X существует ошибка измерения . $Y$$X$$Y\text{ on }X$$X$

С другой стороны, регресс (и предполагая , Y совершенно безошибочным - так называемый золотой стандарт ) позволяет изучать свойства измерений по X . Например, вы можете определить, смещается ли инструмент по мере увеличения (или уменьшения) истинного значения, оценивая, является ли функция прямой или изогнутой. $X\text{ on }Y$$Y$$X$

При попытке понять свойство измерительного прибора, понимая природу ошибки измерения очень важно, и это может быть сделано путем регресса . Например, при проверке гомоскедастичности вы можете определить, изменяется ли погрешность измерения в зависимости от уровня истинного значения конструкции. С приборами часто бывает больше ошибок измерения в крайних точках диапазона, чем в середине его применимого диапазона (т. Е. В его «сладком месте»), поэтому вы можете определить это или, возможно, определить, что является наиболее подходящим Диапазон есть. Вы также можете оценить сумму$X\text{ on }Y$ошибки измерения в вашем приборе с среднеквадратичной ошибкой (остаточное стандартное отклонение); конечно, это предполагает гомоскедастичность, но вы также можете получить оценки в разных точках подгоняя гладкую функцию, такую ​​как сплайн , к остаткам. $Y$

Учитывая эти соображения, я предполагаю, что лучше, но это, безусловно, зависит от ваших целей. $X\text{ on }Y$

Прогнозирование и прогнозирование

Да, вы правы, когда вы рассматриваете это как проблему прогнозирования, регрессия Y-on-X даст вам модель, такую, что с помощью измерения инструмента вы можете сделать объективную оценку точного лабораторного измерения, не выполняя лабораторную процедуру ,

Другими словами, если вы просто заинтересованы в тогда вы хотите регрессию Y-на-X.$E[Y|X]$

Это может показаться нелогичным, потому что структура ошибок не является «реальной». Предполагая, что лабораторный метод является золотым стандартом безошибочного метода, мы «знаем», что истинная модель генерации данных

$X_i = \beta Y_i + \epsilon_i$

где и ϵ i - независимые идентичные распределения, а E [ ϵ ] = $Y_i$$\epsilon_i$$E[\epsilon]=0$

Мы заинтересованы в получении наилучшей оценки . Из-за нашего предположения о независимости мы можем изменить вышесказанное:$E[Y_i|X_i]$

$Y_i = \frac{X_i - \epsilon}{\beta}$

Теперь, принимая ожидания, учитывая где вещи становятся волосатыми$X_i$

$E[Y_i|X_i] = \frac{1}{\beta} X_i - \frac{1}{\beta} E[\epsilon_i|X_i]$

$E[\epsilon_i|X_i]$$\epsilon$$X$

Явно, без ограничения общности мы можем позволить

$\epsilon_i = \gamma X_i + \eta_i$

$E[\eta_i|X] = 0$

$Y_I = \frac{1}{\beta} X_i - \frac{\gamma}{\beta} X_i - \frac{1}{\beta} \eta_i$

$Y_I = \frac{1-\gamma}{\beta} X_i - \frac{1}{\beta} \eta_i$

$\eta$$\beta$$\beta$$\sigma$

$Y_I = {\alpha} X_i + \eta_i$

$\beta$

Анализ инструментов

Человек, который задал вам этот вопрос, явно не хотел ответа выше, так как они говорят, что X-on-Y - правильный метод, так почему они могли этого хотеть? Скорее всего, они рассматривали задачу понимания инструмента. Как уже говорилось в ответе Винсента, если вы хотите узнать о том, как они хотят, чтобы инструмент вел себя, X-on-Y - это то, что нужно.

Возвращаясь к первому уравнению выше:

$X_i = \beta Y_i + \epsilon_i$

$E[X_i|Y_i] = Y_i$$X$$\beta$

усадка

$Y$$E[Y|X]$$\gamma$$E[Y|X]$$Y$, Затем это приводит к таким понятиям, как регрессия к среднему значению и эмпирический метод Байеса.

Пример на R Один из способов понять, что здесь происходит, - собрать некоторые данные и опробовать методы. Приведенный ниже код сравнивает X-on-Y с Y-on-X для прогнозирования и калибровки, и вы можете быстро увидеть, что X-on-Y не подходит для модели прогнозирования, но является правильной процедурой для калибровки.

library(data.table)
library(ggplot2)

N = 100
beta = 0.7
c = 4.4

DT = data.table(Y = rt(N, 5), epsilon = rt(N,8))
DT[, X := 0.7*Y + c + epsilon]

YonX = DT[, lm(Y~X)]   # Y = alpha_1 X + alpha_0 + eta
XonY = DT[, lm(X~Y)]   # X = beta_1 Y + beta_0 + epsilon


YonX.c = YonX$coef[1]   # c = alpha_0
YonX.m = YonX$coef[2]   # m = alpha_1

# For X on Y will need to rearrage after the fit.
# Fitting model X = beta_1 Y + beta_0
# Y = X/beta_1 - beta_0/beta_1

XonY.c = -XonY$coef[1]/XonY$coef[2]      # c = -beta_0/beta_1
XonY.m = 1.0/XonY$coef[2]  # m = 1/ beta_1

ggplot(DT, aes(x = X, y =Y)) + geom_point() +  geom_abline(intercept = YonX.c, slope = YonX.m, color = "red")  +  geom_abline(intercept = XonY.c, slope = XonY.m, color = "blue")

# Generate a fresh sample

DT2 = data.table(Y = rt(N, 5), epsilon = rt(N,8))
DT2[, X := 0.7*Y + c + epsilon]

DT2[, YonX.predict := YonX.c + YonX.m * X]
DT2[, XonY.predict := XonY.c + XonY.m * X]

cat("YonX sum of squares error for prediction: ", DT2[, sum((YonX.predict - Y)^2)])
cat("XonY sum of squares error for prediction: ", DT2[, sum((XonY.predict - Y)^2)])

# Generate lots of samples at the same Y

DT3 = data.table(Y = 4.0, epsilon = rt(N,8))
DT3[, X := 0.7*Y + c + epsilon]

DT3[, YonX.predict := YonX.c + YonX.m * X]
DT3[, XonY.predict := XonY.c + XonY.m * X]

cat("Expected value of X at a given Y (calibrated using YonX) should be close to 4: ", DT3[, mean(YonX.predict)])
cat("Expected value of X at a gievn Y (calibrated using XonY) should be close to 4: ", DT3[, mean(XonY.predict)])

ggplot(DT3) + geom_density(aes(x = YonX.predict), fill = "red", alpha = 0.5) + geom_density(aes(x = XonY.predict), fill = "blue", alpha = 0.5) + geom_vline(x = 4.0, size = 2) + ggtitle("Calibration at 4.0")

Две линии регрессии нанесены на данные

И тогда ошибка суммы квадратов для Y измеряется для обоих подгонок на новой выборке.

> cat("YonX sum of squares error for prediction: ", DT2[, sum((YonX.predict - Y)^2)])
YonX sum of squares error for prediction:  77.33448
> cat("XonY sum of squares error for prediction: ", DT2[, sum((XonY.predict - Y)^2)])
XonY sum of squares error for prediction:  183.0144

В качестве альтернативы выборка может быть сгенерирована при фиксированном Y (в данном случае 4) и затем усреднена из этих взятых оценок. Теперь вы можете видеть, что предиктор Y-on-X плохо откалиброван с ожидаемым значением, намного меньшим, чем Y. Предиктор X-on-Y хорошо откалиброван с ожидаемым значением, близким к Y.

> cat("Expected value of X at a given Y (calibrated using YonX) should be close to 4: ", DT3[, mean(YonX.predict)])
Expected value of X at a given Y (calibrated using YonX) should be close to 4:  1.305579
> cat("Expected value of X at a gievn Y (calibrated using XonY) should be close to 4: ", DT3[, mean(XonY.predict)])
Expected value of X at a gievn Y (calibrated using XonY) should be close to 4:  3.465205

Распределение двух предсказаний можно увидеть на графике плотности.

Это зависит от ваших предположений о дисперсии X и дисперсии Y для обычных наименьших квадратов. Если Y имеет единственный источник дисперсии, а X имеет нулевую дисперсию, то используйте X для оценки Y. Если допущения противоположны (X имеет единственную дисперсию, а Y имеет нулевую дисперсию), тогда используйте Y для оценки X.

Если предполагается, что и X, и Y имеют дисперсию, то вам, возможно, придется учесть Total Least Squares .

Хорошее описание TLS было написано по этой ссылке . Документ ориентирован на торговлю, но раздел 3 хорошо описывает TLS.

Изменить 1 (09.10.2013) ========================================= ======

Первоначально я предполагал, что это была какая-то домашняя проблема, поэтому я не совсем определился с «ответом» на вопрос ОП. Но, прочитав другие ответы, похоже, что все в порядке, чтобы быть немного более подробным.

Цитирую часть вопроса ОП:

«.... Уровни также измеряются с использованием очень точной лабораторной процедуры ....»

Вышеприведенное утверждение говорит о том, что есть два измерения, одно из прибора и одно из лабораторной процедуры. Утверждение также подразумевает, что дисперсия для лабораторной процедуры является низкой по сравнению с дисперсией для прибора.

Еще одна цитата из вопроса ОП:

«.... Мера лабораторной процедуры обозначается у .....»

Итак, из двух приведенных выше утверждений Y имеет меньшую дисперсию. Таким образом, наименее подверженный ошибкам метод заключается в использовании Y для оценки X. «Предоставленный ответ» был правильным.