Размеры эффекта линейной регрессии при использовании преобразованных переменных

При выполнении линейной регрессии часто бывает полезно выполнить преобразование, такое как лог-преобразование для зависимой переменной, для достижения лучшей конформации нормального распределения. Часто также полезно проверять бета-результаты по регрессии, чтобы лучше оценить величину эффекта / реальную актуальность результатов.

Это поднимает проблему, заключающуюся в том, что при использовании, например, преобразования журнала размеры эффекта будут в масштабе журнала, и мне сказали, что из-за нелинейности используемой шкалы обратное преобразование этих бета-версий приведет к не значащим значениям, которые не имеют реального использования.

На этом этапе мы обычно выполняли линейную регрессию с преобразованными переменными, чтобы проверить значимость, а затем линейную регрессию с исходными нетрансформированными переменными, чтобы определить величину эффекта.

Есть ли правильный / лучший способ сделать это? По большей части мы работаем с клиническими данными, поэтому реальным примером может служить определение того, как определенное воздействие влияет на постоянные переменные, такие как рост, вес или некоторые лабораторные измерения, и мы хотели бы заключить что-то вроде «воздействие А имело эффект увеличения веса на 2 кг ".

Я бы предположил, что преобразования не важны для нормального распределения ваших ошибок. Нормальность не является необходимым предположением. Если у вас «достаточно» данных, сработает центральная предельная теорема, и ваши стандартные оценки станут асимптотически нормальными. Кроме того, вы можете использовать начальную загрузку в качестве непараметрического средства для оценки стандартных ошибок. (Гомоскедастичность, общая дисперсия для наблюдений между единицами, необходима для правильности ваших стандартных ошибок; надежные опции допускают гетероскедастичность).

Вместо этого преобразования помогают обеспечить соответствие линейной модели. Чтобы понять это, давайте рассмотрим, как мы можем интерпретировать коэффициенты в преобразованных моделях:

• результат - это единицы, предикторы - это единицы: изменение предиктора на одну единицу ведет к бета-изменению единицы в результате.
• результат в единицах, предиктор в лог-единицах: изменение предиктора на один процент приводит к изменению результата на бета / 100 единиц.
• результат в единицах журнала, предиктор в единицах: изменение предиктора на одну единицу приводит к бета-изменению результата на 100%.
• результат в лог-единицах, предиктор в лог-единицах: изменение предиктора на один процент приводит к бета-процентному изменению результата.

Если преобразования необходимы для того, чтобы ваша модель имела смысл (т. Е. Чтобы линейность сохранялась), тогда для оценки следует использовать оценку из этой модели. Оценка по модели, в которую вы не верите, не очень полезна. Приведенные выше интерпретации могут быть весьма полезны для понимания оценок преобразованной модели и часто могут быть более актуальными для рассматриваемого вопроса. Например, экономистам нравится логарифмическая формулировка, потому что интерпретация бета - это эластичность, важная мера в экономике.

Я бы добавил, что обратное преобразование не работает, потому что ожидание функции не является функцией ожидания; журнал ожидаемого значения бета не является ожидаемым значением журнала бета. Следовательно, ваша оценка не беспристрастна. Это отбрасывает и стандартные ошибки.

КОРОТКИЙ ОТВЕТ: Абсолютно правильно, обратное преобразование бета-значения не имеет смысла. Тем не менее, вы можете сообщить о нелинейности как что-то вроде. «Если вы весите 100 кг, то употребление двух кусков пирога в день увеличит ваш вес примерно на 2 кг за одну неделю. Однако, если вы весите 200 кг, ваш вес увеличится на 2,5 кг. См. Рисунок 1, где показано это нелинейное соотношение ( рисунок 1 соответствует кривой по необработанным данным).

ДОЛГО ОТВЕТ:

Значимость обратно преобразованного значения варьируется, но при правильном выполнении оно обычно имеет некоторое значение.

Если у вас есть регрессия натуральных логарифмических значений двух предикторов х с бета-значением 0,13 и пересечением 7,0, то обратное преобразование 0,13 (1,14) в значительной степени бессмысленно. Это правильно. Однако обратное преобразование 7.13 будет значением, которое можно интерпретировать с некоторым значением. Затем вы можете вычесть обратное преобразование 7.0 и остаться с оставшимся значением, которое является вашим эффектом в значимой шкале (152.2). Если вы хотите посмотреть на любое прогнозируемое значение, вам необходимо сначала вычислить все это в лог-значениях, а затем выполнить обратное преобразование. Это должно быть сделано отдельно для каждого прогнозируемого значения и в результате получится кривая.

Это часто разумно сделать, если ваше преобразование имеет относительно небольшое влияние на ваши данные. Логическое преобразование времени реакции является одним из видов значений, которые можно преобразовать обратно. Когда все сделано правильно, вы обнаружите, что значения кажутся близкими к медианным значениям, выполняя простые вычисления на необработанных данных.

Даже тогда, хотя нужно быть осторожным с взаимодействиями и невзаимодействиями. Относительные значения варьируются по шкале. Анализ был чувствителен к логарифмическому значению, в то время как обратно преобразованные значения могут показывать разные шаблоны, из-за которых взаимодействия выглядят так, как будто их не должно быть, или наоборот. Другими словами, вы можете обратно преобразовывать вещи, которые вносят небольшие изменения в данные, если вы будете осторожны.

Некоторые изменения, такие как логистическое преобразование вероятности, могут иметь довольно массивные последствия, особенно в конце шкалы. Примером места, которое вы никогда не должны возвращать назад, являются графики взаимодействия вблизи верхнего или нижнего предела вероятности.

Вопрос о предельных эффектах (от X на Y), я думаю, не столько о интерпретации отдельных коэффициентов. Как уже отметили люди, их можно отождествить только с размером эффекта, например, когда существуют линейные и аддитивные отношения.

Если это в центре внимания, то (концептуально, если не практически) простейший способ осмыслить проблему будет выглядеть так:

Чтобы получить предельное влияние X на Y в модели линейной нормальной регрессии без взаимодействий, вы можете просто посмотреть на коэффициент на X. Но этого недостаточно, поскольку он оценивается как неизвестный. В любом случае, что действительно нужно для предельных эффектов, это какой-то график или резюме, которое обеспечивает прогноз Y для диапазона значений X и меру неопределенности. Обычно может потребоваться прогнозируемое среднее значение Y и доверительный интервал, но может также потребоваться прогнозирование полного условного распределения Y для X. Это распределение шире, чем сигма-оценка подобранной модели, поскольку она учитывает неопределенность в отношении коэффициентов модели. ,

Существуют различные решения для закрытых форм для простых моделей, подобных этой. Для текущих целей мы можем их игнорировать и вместо этого думать более широко о том, как получить этот граф предельных эффектов путем моделирования, таким образом, чтобы иметь дело со сколь угодно сложными моделями.

Предположим, вы хотите, чтобы влияние X изменялось на среднее значение Y, и вы готовы исправить все остальные переменные в значимых значениях. Для каждого нового значения X возьмите выборку размера B из распределения коэффициентов модели. Простой способ сделать это в R - это предположить, что это Normal со средним значением coef(model)и ковариационной матрицей vcov(model). Вычислите новый ожидаемый Y для каждого набора коэффициентов и суммируйте лот с интервалом. Затем перейдите к следующему значению X.

Мне кажется, что на этот метод не должны влиять какие-либо необычные преобразования, применяемые к любой из переменных, при условии, что вы также применяете их (или их инверсии) на каждом этапе выборки. Таким образом, если у подобранной модели есть log (X) в качестве предиктора, запишите новый X, прежде чем умножить его на выбранный коэффициент. Если подогнанная модель имеет sqrt (Y) в качестве зависимой переменной, возведите в квадрат каждое предсказанное среднее в выборке, прежде чем суммировать их как интервал.

Короче говоря, больше программирования, но меньше вычислений вероятности и, как следствие, клинически приемлемых предельных эффектов. Этот «метод» иногда упоминается как CLARIFY в литературе по политологии, но он довольно общий.