Как именно один «контролирует другие переменные»?

Вот статья, которая мотивировала этот вопрос: неужели нетерпение делает нас толстыми?

Мне понравилась эта статья, и она хорошо демонстрирует концепцию «контроля за другими переменными» (IQ, карьера, доход, возраст и т. Д.), Чтобы наилучшим образом выделить истинные отношения только между двумя рассматриваемыми переменными.

Можете ли вы объяснить мне, как вы фактически контролируете переменные в типичном наборе данных?

Например, если у вас есть 2 человека с одинаковым уровнем нетерпимости и ИМТ, но разными доходами, как вы относитесь к этим данным? Вы относите их к разным подгруппам с одинаковым доходом, терпением и ИМТ? Но, в конце концов, есть десятки переменных, которые нужно контролировать (IQ, карьера, доход, возраст и т. Д.). Как вы затем объединяете эти (потенциально) сотни подгрупп? На самом деле, я чувствую, что этот подход лает не на то дерево, теперь, когда я его озвучил.

Спасибо за то, что пролили свет на то, что я собирался докопаться до нескольких лет ...!

Есть много способов контролировать переменные.

Самый простой способ, который вы придумали, состоит в том, чтобы разделить ваши данные, чтобы у вас были подгруппы с похожими характеристиками - тогда есть методы объединения этих результатов, чтобы получить один «ответ». Это работает, если у вас есть очень небольшое количество переменных, которыми вы хотите управлять, но, как вы правильно поняли, это быстро разваливается, когда вы разбиваете свои данные на все более мелкие куски.

Более распространенный подход - включить переменные, которыми вы хотите управлять, в регрессионную модель. Например, если у вас есть модель регрессии, которая может быть концептуально описана как:

BMI = Impatience + Race + Gender + Socioeconomic Status + IQ

Оценка, которую вы получите для Нетерпения, будет эффектом Нетерпения на уровнях других ковариат - регрессия позволяет вам существенно сгладить места, где у вас мало данных (проблема с подходом стратификации), хотя это должно быть сделано с осторожностью.

Есть еще более изощренные способы контроля других переменных, но, скорее всего, когда кто-то говорит «контролируется другими переменными», это означает, что он включен в регрессионную модель.

Хорошо, вы попросили пример, над которым вы можете поработать, чтобы увидеть, как это происходит. Я проведу вас через это шаг за шагом. Все, что вам нужно, это копия R установлена.

Во-первых, нам нужны некоторые данные. Вырежьте и вставьте следующие фрагменты кода в R. Имейте в виду, что это надуманный пример, который я сделал на месте, но он показывает процесс.

covariate <- sample(0:1, 100, replace=TRUE)
exposure  <- runif(100,0,1)+(0.3*covariate)
outcome   <- 2.0+(0.5*exposure)+(0.25*covariate)

Это твои данные. Обратите внимание, что мы уже знаем взаимосвязь между результатом, экспозицией и ковариатой - такова точка многих имитационных исследований (примером которых является чрезвычайно простой. Вы начинаете со структуры, которую знаете, и убедитесь, что ваш метод может получить правильный ответ.

Теперь, затем, на регрессионную модель. Введите следующее:

lm(outcome~exposure)

Вы получили Intercept = 2.0 и выдержку = 0.6766? Или что-то близкое к этому, учитывая, что в данных будут случайные изменения? Хорошо - этот ответ неверен. Мы знаем, что это неправильно. Почему это не так? Мы не смогли контролировать переменную, которая влияет на результат и воздействие. Это бинарная переменная, делайте все, что угодно - пол, курильщик / некурящий и т. Д.

Теперь запустите эту модель:

lm(outcome~exposure+covariate)

На этот раз вы должны получить коэффициенты Intercept = 2,00, экспозиции = 0,50 и ковариату 0,25. Это, как мы знаем, правильный ответ. Вы контролировали другие переменные.

Теперь, что происходит, когда мы не знаем, позаботились ли мы обо всех переменных, которые нам нужны (мы никогда этого не делаем)? Это называется остаточным смущением , и в большинстве наблюдательных исследований его беспокоит то, что мы плохо контролировали, и наш ответ, хотя и близкий к правильному, не точен. Это помогает больше?

1. Введение

   Мне нравится ответ @ EpiGrad (+1), но позвольте мне взглянуть иначе. Далее я имею в виду этот документ PDF: «Анализ множественной регрессии: оценка» , в котором есть раздел «Интерпретация множественной регрессии с« частичной регрессией »» (стр. 83f.). К сожалению, я не знаю, кто является автором этой главы, и я буду называть ее REGCHAPTER. Аналогичное объяснение можно найти в Kohler / Kreuter (2009) «Анализ данных с использованием Stata» , глава 8.2.3 «Что означает« под контролем »?».

   Я буду использовать пример @ EpiGrad, чтобы объяснить этот подход. Код R и результаты можно найти в Приложении.

   Также следует отметить, что «контроль других переменных» имеет смысл, только когда объясняющие переменные умеренно коррелированы (коллинеарность). В вышеупомянутом примере соотношение Продукт-Момент между exposureи covariateсоставляет 0,50, т.е.

   > cor(covariate, exposure)
   [1] 0.5036915

2. Остаточные

   Я предполагаю, что у вас есть базовое понимание концепции остатков в регрессионном анализе. Вот объяснение из Википедии : «Если кто-то запускает регрессию по некоторым данным, то отклонения наблюдений зависимой переменной от подобранной функции являются остатками».

3. Что значит «под контролем»?

   Управление переменного covariate, эффект (регрессия веса) exposureна outcomeможет быть описана следующим образом (я неаккуратно и пропустить большинство индексов и все шляпы, пожалуйста , обратитесь к указанному выше тексту для точного описания):

   $\newcommand{\resid}{{\rm resid}}\newcommand{\covariate}{{\rm covariate}}$

   $$\beta_1=\frac{\sum \resid_{i1} \cdot y_i}{\sum \resid^2_{i1}}$$

   $\resid_{i1}$ являются остатки , когда мы регресс exposureна covariate, т.е.

   $${\rm exposure} = {\rm const.} + \beta_{\covariate} \cdot \covariate + \resid$$

   «Остатки [..] являются частью которая не связана с . [...] Таким образом, измеряет пример отношения между и после того, как был частично "(REGCHAPTER 84). «Частично из» означает «контролируемый для».$x_{i1}$$x_{i2}$$\hat{\beta}_1$$y$$x_1$$x_2$

   Я продемонстрирую эту идею на примере данных @ EpiGrad. Во-первых, я буду регресс exposureна covariate. Поскольку меня интересуют только остатки lmEC.resid, я опускаю вывод.

   summary(lmEC <- lm(exposure ~ covariate))
   lmEC.resid   <- residuals(lmEC)

   Следующим шагом является регрессия outcomeна эти остатки ( lmEC.resid):

   [output omitted]
   
   Coefficients:
               Estimate Std. Error t value Pr(>|t|)    
   (Intercept)  2.45074    0.02058 119.095  < 2e-16 ***
   lmEC.resid   0.50000    0.07612   6.569 2.45e-09 ***
   ---
   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
   
   [output omitted]

   Как вы можете видеть, вес регрессии lmEC.resid(см. Столбец Estimate, ) в этой простой регрессии равен весу множественной регрессии , который также равен (см. Ответ @ EpiGrad или вывод R ниже).$\beta_{lmEC.resid}=0.50$covariate$0.50$

аппендикс

Код R

set.seed(1)
covariate <- sample(0:1, 100, replace=TRUE)
exposure <- runif(100,0,1)+(0.3*covariate)
outcome <- 2.0+(0.5*exposure)+(0.25*covariate)

## Simple regression analysis
summary(lm(outcome ~ exposure))

## Multiple regression analysis
summary(lm(outcome ~ exposure + covariate))

## Correlation between covariate and exposure
cor(covariate, exposure)

## "Partialling-out" approach
## Regress exposure on covariate
summary(lmEC <- lm(exposure ~ covariate))
## Save residuals
lmEC.resid <- residuals(lmEC)
## Regress outcome on residuals
summary(lm(outcome ~ lmEC.resid))

## Check formula
sum(lmEC.resid*outcome)/(sum(lmEC.resid^2))

R выход

> set.seed(1)
> covariate <- sample(0:1, 100, replace=TRUE)
> exposure <- runif(100,0,1)+(0.3*covariate)
> outcome <- 2.0+(0.5*exposure)+(0.25*covariate)
> 
> ## Simple regression analysis
> summary(lm(outcome ~ exposure))

Call:
lm(formula = outcome ~ exposure)

Residuals:
      Min        1Q    Median        3Q       Max 
-0.183265 -0.090531  0.001628  0.085434  0.187535 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  1.98702    0.02549   77.96   <2e-16 ***
exposure     0.70103    0.03483   20.13   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.109 on 98 degrees of freedom
Multiple R-squared: 0.8052,     Adjusted R-squared: 0.8032 
F-statistic: 405.1 on 1 and 98 DF,  p-value: < 2.2e-16 

> 
> ## Multiple regression analysis
> summary(lm(outcome ~ exposure + covariate))

Call:
lm(formula = outcome ~ exposure + covariate)

Residuals:
       Min         1Q     Median         3Q        Max 
-7.765e-16 -7.450e-18  4.630e-18  1.553e-17  4.895e-16 

Coefficients:
             Estimate Std. Error   t value Pr(>|t|)    
(Intercept) 2.000e+00  2.221e-17 9.006e+16   <2e-16 ***
exposure    5.000e-01  3.508e-17 1.425e+16   <2e-16 ***
covariate   2.500e-01  2.198e-17 1.138e+16   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 9.485e-17 on 97 degrees of freedom
Multiple R-squared:     1,      Adjusted R-squared:     1 
F-statistic: 3.322e+32 on 2 and 97 DF,  p-value: < 2.2e-16 

> 
> ## Correlation between covariate and exposure
> cor(covariate, exposure)
[1] 0.5036915
> 
> ## "Partialling-out" approach
> ## Regress exposure on covariate
> summary(lmEC <- lm(exposure ~ covariate))

Call:
lm(formula = exposure ~ covariate)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.49695 -0.24113  0.00857  0.21629  0.46715 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.51003    0.03787  13.468  < 2e-16 ***
covariate    0.31550    0.05466   5.772  9.2e-08 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2731 on 98 degrees of freedom
Multiple R-squared: 0.2537,     Adjusted R-squared: 0.2461 
F-statistic: 33.32 on 1 and 98 DF,  p-value: 9.198e-08 

> ## Save residuals
> lmEC.resid <- residuals(lmEC)
> ## Regress outcome on residuals
> summary(lm(outcome ~ lmEC.resid))

Call:
lm(formula = outcome ~ lmEC.resid)

Residuals:
    Min      1Q  Median      3Q     Max 
-0.1957 -0.1957 -0.1957  0.2120  0.2120 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  2.45074    0.02058 119.095  < 2e-16 ***
lmEC.resid   0.50000    0.07612   6.569 2.45e-09 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2058 on 98 degrees of freedom
Multiple R-squared: 0.3057,     Adjusted R-squared: 0.2986 
F-statistic: 43.15 on 1 and 98 DF,  p-value: 2.45e-09 

> 
> ## Check formula
> sum(lmEC.resid*outcome)/(sum(lmEC.resid^2))
[1] 0.5
> 

Конечно, будет задействована некоторая математика, но это не так уж много: Евклид хорошо бы это понял. Все, что вам действительно нужно знать, это как добавлять и масштабировать векторы. Хотя в наши дни это называется «линейная алгебра», вам нужно только визуализировать ее в двух измерениях. Это позволяет нам избежать матричного механизма линейной алгебры и сосредоточиться на понятиях.

Геометрическая история

На первом рисунке - это сумма и . (Вектор масштабированный с помощью числового коэффициента ; греческие буквы (альфа), (бета) и (гамма) будут ссылаться на такие числовые коэффициенты масштабирования.)$y$$y_{\cdot 1}$$\alpha x_1$$x_1$$\alpha$$\alpha$$\beta$$\gamma$

Эта цифра фактически началась с исходных векторов (показаны сплошными линиями) и . «Совпадение» наименьших квадратов от до определяется путем взятия кратного которое находится ближе всего к в плоскости фигуры. Вот как была найдена. Отбирая это совпадение от осталось , остаток от относительно . (Точка « » будет последовательно указывать, какие векторы были «сопоставлены», «удалены» или «контролируются».)$x_1$$y$$y$$x_1$$x_1$$y$$\alpha$$y$$y_{\cdot 1}$$y$$x_1$$\cdot$

Мы можем сопоставить другие векторы с . Вот рисунок, где сопоставлен с , выражая его как кратное от плюс его остаточный :$x_1$$x_2$$x_1$$\beta$$x_1$$x_{2\cdot 1}$

(Неважно, что плоскость, содержащая и может отличаться от плоскости, содержащей и : эти две фигуры получены независимо друг от друга. Все, что они гарантированно имеют общее, - это вектор .) Аналогично, любое число векторов можно сопоставить с .$x_1$$x_2$$x_1$$y$$x_1$$x_3, x_4, \ldots$$x_1$

Теперь рассмотрим плоскость, содержащую два остатка и . Я сориентирую изображение так, чтобы горизонтальным, так же, как я ориентировал предыдущие изображения, чтобы сделать горизонтальным, потому что на этот раз будет играть роль сопоставителя:$y_{\cdot 1}$$x_{2 \cdot 1}$$x_{2\cdot 1}$$x_1$$x_{2\cdot 1}$

Обратите внимание, что в каждом из трех случаев остаток перпендикулярен совпадению. (Если бы это было не так, мы могли бы откорректировать совпадение, чтобы оно стало еще ближе к , или .)$y$$x_2$$y_{\cdot 1}$

Основная идея состоит в том, что к тому времени, когда мы доберемся до последнего рисунка, оба задействованных вектора ( и ) уже перпендикулярны по построению. Таким образом, любая последующая корректировка включает в себя изменения, которые все перпендикулярны . В результате новое совпадение и новый остаток остаются перпендикулярными к .$x_{2\cdot 1}$$y_{\cdot 1}$$x_1$$y_{\cdot 1}$$x_1$$\gamma x_{2\cdot 1}$$y_{\cdot 12}$$x_1$

(Если задействованы другие векторы, мы поступим таким же образом, чтобы сопоставить их невязки с .)$x_{3\cdot 1}, x_{4\cdot 1}, \ldots$$x_2$

Есть еще один важный момент. Эта конструкция создала остаток перпендикулярный как и . Это означает , что является также остаточным в пространстве (трехмерное евклидово области действия ) , натянутое на и . То есть этот двухэтапный процесс сопоставления и получения остатков должен был найти местоположение в плоскости которое является наиболее близким к . Поскольку в этом геометрическом описании не имеет значения, какой из и был первым, мы заключаем, что$y_{\cdot 12}$$x_1$$x_2$$y_{\cdot 12}$$x_1, x_2,$$y$$x_1, x_2$$y$$x_1$$x_2$если бы процесс был выполнен в другом порядке, начиная с в качестве сопоставителя и затем используя , результат был бы таким же.$x_2$$x_1$

(Если есть дополнительные векторы, мы будем продолжать этот процесс «извлекать сопоставление» до тех пор, пока каждый из этих векторов не станет по очереди сопоставителем. В каждом случае операции будут такими же, как показано здесь, и всегда будут происходить в самолет .)

Приложение к множественной регрессии

Этот геометрический процесс имеет прямую интерпретацию множественной регрессии, потому что столбцы чисел действуют точно так же, как геометрические векторы. Они обладают всеми необходимыми нам свойствами в отношении векторов (аксиоматически), и поэтому их можно продумывать и манипулировать одинаково с идеальной математической точностью и строгостью. В заходящего с переменными множественной регрессии , , и , цель состоит в том, чтобы найти комбинацию и ( и т.д. ) , что ближе всего к . Геометрически, все такие комбинации и (и т. Д.$X_1$$X_2, \ldots$$Y$$X_1$$X_2$$Y$$X_1$$X_2$) соответствуют точкам в пространстве . Подгонка коэффициентов множественной регрессии - не что иное, как проецирование («сопоставление») векторов. Геометрический аргумент показал, что$X_1, X_2, \ldots$

1. Сопоставление может быть сделано последовательно и

2. Порядок, в котором выполняется сопоставление, не имеет значения.

Процесс «удаления» сопоставителя путем замены всех других векторов их остатками часто называют «управляющим» для сопоставителя. Как мы видели на рисунках, после того, как сопоставление было проверено, все последующие вычисления вносят корректировки, которые перпендикулярны этому сопоставителю. Если хотите, вы можете думать о «контроле» как о «учете (в смысле наименьших квадратов) вклада / влияния / эффекта / ассоциации сопоставителя по всем другим переменным».

Рекомендации

Вы можете увидеть все это в действии с данными и рабочим кодом в ответе на https://stats.stackexchange.com/a/46508 . Этот ответ может больше понравиться людям, которые предпочитают арифметику, а не изображения на самолете. (Тем не менее, арифметика по корректировке коэффициентов при последовательном вводе сопоставителей проста.) Язык сопоставления взят от Фреда Мостеллера и Джона Тьюки.

До сих пор ведутся прекрасные дискуссии о ковариантной корректировке как способе «контроля других переменных». Но я думаю, что это только часть истории. На самом деле, существует множество (других) стратегий, основанных на разработке, модели и машинном обучении, для устранения влияния ряда возможных смешанных переменных. Это краткий обзор некоторых наиболее важных (не относящихся к теме) тем. Хотя корректировка является наиболее широко используемым средством «контроля» за другими переменными, я думаю, что хороший статистик должен понимать, что он делает (и не делает) в контексте других процессов и процедур.

Совпадение:

Сопоставление - это метод проектирования парного анализа, в котором наблюдения группируются в наборы по 2, которые в остальном схожи по своим наиболее важным аспектам. Например, вы можете выбрать двух человек, которые согласны в своем образовании, доходе, профессиональном пребывании, возрасте, семейном положении (и т. Д. И т. Д.), Но не согласны с точки зрения их нетерпения. Для бинарных экспозиций достаточно простого парного t-теста, чтобы проверить среднюю разницу в их ИМТ, контролируя все соответствующие функции. Если вы моделируете непрерывную экспозицию, аналогичным показателем будет модель регрессии через источник различий. Смотри Карлин 2005

утяжеление

Взвешивание - это еще один одномерный анализ, который моделирует связь между непрерывным или двоичным предиктором и результатом так, чтобы распределение уровней воздействия было однородным между группами. Эти результаты обычно сообщаются как стандартизированные, такие как стандартизированная по возрасту смертность для двух стран или нескольких больниц. Косвенная стандартизация вычисляет ожидаемое распределение результатов по показателям, полученным в «контрольной» или «здоровой» популяции, которые прогнозируются по распределению страт в референтной популяции. Прямая стандартизация идет другим путем. Эти методы обычно используются для двоичного результата. Взвешивание баллов склонности$X$$Y$учет вероятности бинарного воздействия и контроль этих переменных в этом отношении. Это похоже на прямую стандартизацию для воздействия. См. Ротман, Современная Эпидемиология, 3-е издание.

Рандомизация и квазирандомизация

Это тонкий момент, но если вы действительно можете рандомизировать людей до определенного экспериментального условия, то влияние других переменных смягчается. Это замечательно более сильное условие, потому что вам даже не нужно знать, каковы эти другие переменные. В этом смысле вы «контролировали» их влияние. Это невозможно в наблюдательных исследованиях, но оказывается, что методы оценки предрасположенности создают простую вероятностную меру воздействия, которая позволяет взвешивать, корректировать или сопоставлять участников, чтобы их можно было анализировать так же, как квази-рандомизированное исследование , См. Розенбаум, Рубин 1983 .

Микросимуляционный

Другим способом моделирования данных, которые могли быть получены в результате рандомизированного исследования, является проведение микросимуляции. Здесь можно фактически обратить их внимание на более крупные и более сложные модели машинного обучения. Термин, который Иудея Перл изобрел, который мне нравится, это « Модели Oracle »: сложные сети, способные генерировать прогнозы и прогнозы для ряда особенностей и результатов. Оказывается, можно «свернуть» информацию о такой модели оракула, чтобы имитировать результаты в сбалансированной когорте людей, представляющих рандомизированную когорту, сбалансированных по распределению «контрольной переменной», и используя простые процедуры t-теста для оценки Величина и точность возможных различий. См. Раттер, Заславский и Фейер 2012

Сопоставление, взвешивание и ковариатная корректировка в регрессионной модели все оценивают одни и те же ассоциации, и, таким образом, можно утверждать, что все они являются способами «контроля» за другими переменными .

Программное обеспечение не контролирует буквально переменные. Если вы знакомы с матричным обозначением регрессии , то, возможно, помните, что решение для наименьших квадратов - это . Таким образом, программное обеспечение оценивает это выражение численно с использованием методов вычислительной линейной алгебры.$Y=X\beta+\varepsilon$$b=(X^TX)^{-1}X^TY$