Переменные часто корректируются (например, стандартизируются) перед созданием модели - когда это хорошая идея, а когда плохая?

В каких обстоятельствах вы хотите или не хотите масштабировать или стандартизировать переменную до подбора модели? И каковы преимущества / недостатки масштабирования переменной?

Стандартизация - все о весах различных переменных для модели. Если вы выполняете стандартизацию «только» ради численной стабильности, могут быть преобразования, которые дают очень похожие числовые свойства, но различаются физическим смыслом, который может быть гораздо более подходящим для интерпретации. То же самое относится и к центрированию, которое обычно является частью стандартизации.

Ситуации, когда вы, вероятно, хотите стандартизировать:

• переменные разные физические величины
• и числовые значения находятся на очень разных масштабах
• и нет «внешнего» знания о том, что переменные с высоким (числовым) разбросом следует считать более важными.

Ситуации, когда вы можете не захотеть стандартизировать:

• если переменные имеют одинаковую физическую величину и имеют (примерно) одинаковую величину, например
  • относительные концентрации разных химических веществ
  • оптические плотности на разных длинах волн
  • интенсивность излучения (в остальном одинаковые условия измерения) на разных длинах волн
• Вы определенно не хотите стандартизировать переменные, которые не изменяются между выборками (базовыми каналами) - вы просто взорвали бы шум измерений (вы можете вместо этого исключить их из модели)
• Если у вас есть такие физически связанные переменные, ваш шум измерения может быть примерно одинаковым для всех переменных, но интенсивность сигнала меняется гораздо больше. Т.е. переменные с низкими значениями имеют более высокий относительный шум. Стандартизация взорвала бы шум. Другими словами, вам, возможно, придется решить, хотите ли вы стандартизировать относительный или абсолютный шум.
• Могут быть физически значимые значения, которые вы можете использовать для привязки вашего измеренного значения, например, вместо передаваемой интенсивности используйте процент передаваемой интенсивности (коэффициент пропускания T).

Вы можете сделать что-то «между» и преобразовать переменные или выбрать единицу, чтобы новые переменные все еще имели физический смысл, но вариация числового значения не была такой разной, например

• если вы работаете с мышами, используйте массу тела g и длину в см (ожидаемый диапазон отклонения около 5 для обоих) вместо базовых единиц измерения кг и м (ожидаемый диапазон отклонения 0,005 кг и 0,05 м - разность на порядок меньше).
• $A = -log_{10} T$

Аналогично для центрирования:

• Там могут быть (физически / химически / биологически / ...) значимые исходные значения доступны (например, контроль, жалюзи и т. Д.)
• Значит ли это значение на самом деле? (Средний человек имеет один яичник и одно яичко)

Перед стандартизацией я всегда спрашиваю себя: «Как я буду интерпретировать результаты?» Если есть способ проанализировать данные без преобразования, это может быть предпочтительнее исключительно с точки зрения интерпретации.

В общем, я не рекомендую масштабирование или стандартизацию, если это не является абсолютно необходимым. Преимущество или привлекательность такого процесса заключается в том, что, когда объясняющая переменная имеет совершенно другое физическое измерение и величину, чем переменная отклика, масштабирование посредством деления на стандартное отклонение может помочь с точки зрения численной стабильности и позволяет сравнивать эффекты по нескольким объясняющие переменные. При наиболее распространенной стандартизации эффект переменной - это величина изменения ответной переменной, когда пояснительная переменная увеличивается на одно стандартное отклонение; это также указывает на то, что значение эффекта переменной (величина изменения в переменной отклика, когда объясняющая переменная увеличивается на одну единицу) будет потеряно, хотя статистическое значение для объясняющей переменной остается неизменным. Тем не мение, когда взаимодействие рассматривается в модели, масштабирование может быть очень проблематичным даже для статистического тестирования из-за сложности, связанной с корректировкой стохастического масштабирования при вычислении стандартной ошибки эффекта взаимодействия (Preacher, 2003). По этой причине масштабирование на стандартное отклонение (или стандартизацию / нормализацию), как правило, не рекомендуется, особенно когда речь идет о взаимодействиях.

Preacher, KJ, Curran, PJ, and Bauer, DJ, 2006. Вычислительные инструменты для исследования эффектов взаимодействия при множественной линейной регрессии, многоуровневом моделировании и анализе скрытых кривых. Журнал образовательной и поведенческой статистики, 31 (4), 437-448.