На мой взгляд, в наблюдательных исследованиях есть две основные проблемы, которые «контролируют» ряд независимых переменных. 1) У вас проблема с отсутствием объяснительных переменных и, следовательно, с ошибкой спецификации модели. 2) У вас есть проблема множественных коррелированных независимых переменных - проблема, которой нет в (хорошо) спроектированных экспериментах - и тот факт, что коэффициенты регрессии и тесты ковариат ANCOVA основаны на частичных значениях, что затрудняет их интерпретацию. Первый характерен для природы наблюдательных исследований и рассматривается в научном контексте и в процессе конкурентной разработки. Последнее является проблемой образования и опирается на четкое понимание регрессионных моделей и моделей ANCOVA, а также того, что представляют собой эти коэффициенты.
Что касается первой проблемы, то достаточно легко продемонстрировать, что если все влияния на некоторую зависимую переменную известны и включены в модель, статистические методы контроля являются эффективными и дают хорошие прогнозы и оценки эффектов для отдельных переменных. Проблема в «мягких науках» заключается в том, что все соответствующие влияния редко включаются или даже известны, и, следовательно, модели плохо определены и их трудно интерпретировать. Тем не менее, в этих областях существует много стоящих проблем. Ответы просто не уверены. Прелесть научного процесса в том, что он самокорректируется, а модели подвергаются сомнению, разработке и уточнению. Альтернатива состоит в том, чтобы предложить, что мы не можем исследовать эти проблемы с научной точки зрения, когда мы не можем планировать эксперименты.
Вторая проблема - это техническая проблема в природе моделей ANCOVA и регрессии. Аналитики должны четко понимать, что представляют собой эти коэффициенты и тесты. Корреляции между независимыми переменными влияют на коэффициенты регрессии и тесты ANCOVA. Это тесты частичных. Эти модели выявляют дисперсию в данной независимой переменной и зависимой переменной, которые связаны со всеми другими переменными в модели, а затем исследуют отношения в этих остатках. В результате отдельные коэффициенты и тесты очень трудно интерпретировать вне контекста четкого концептуального понимания всего включенного набора переменных и их взаимосвязей. Это, однако, не создает проблем для прогнозирования - просто будьте осторожны при интерпретации конкретных тестов и коэффициентов.
Дополнительное примечание: последняя проблема связана с проблемой, обсуждавшейся ранее на этом форуме, о реверсировании признаков регрессии - например, с отрицательных на положительные - когда в модель вводятся другие предикторы. При наличии коррелированных предикторов и без четкого понимания множественных и сложных взаимосвязей среди всего набора предикторов нет никаких оснований ОЖИДАТЬ (по своей природе частичный) коэффициент регрессии, чтобы иметь определенный знак. Когда существует сильная теория и четкое понимание этих взаимосвязей, такие «развороты» знака могут быть поучительными и теоретически полезными. Хотя, учитывая сложность многих социальных наук, достаточное понимание не было бы обычным явлением, я бы ожидал.
Отказ от ответственности: я социолог и общественный политик по образованию.