Объясните разницу между множественной регрессией и многомерной регрессией с минимальным использованием символов / математики

Являются ли множественные и многомерные регрессии действительно разными? Что такое вариация в любом случае?

Очень быстро, я бы сказал: «множественный» относится к числу предикторов, которые входят в модель (или, что то же самое, в матрицу проектирования) с одним результатом (ответ Y), тогда как «многовариантный» относится к матрице векторов ответов. Не могу вспомнить автора, который начинает свой вводный раздел по многомерному моделированию с этого соображения, но я думаю, что это Брайан Эверитт в своем учебнике «Сопутствующий многомерный анализ R и S-Plus» . Для более подробного обсуждения этого я бы предложил взглянуть на его последнюю книгу « Моделирование многих переменных и многомерный анализ для поведенческих наук» .

Для «variate» я бы сказал, что это обычный способ ссылки на любую случайную переменную, которая следует за известным или предполагаемым распределением, например, мы говорим о гауссовых вариациях как серии наблюдений, взятых из нормального распределения (с параметрами и ). В вероятностных терминах мы сказали, что это некоторые случайные реализации X с математическим ожиданием , и ожидается, что около 95% из них будут лежать в диапазоне .$X_i$$\mu$$\sigma^2$$\mu$$[\mu-2\sigma;\mu+2\sigma]$

Вот два тесно связанных примера, которые иллюстрируют идеи. Примеры в некоторой степени ориентированы на США, но идеи могут быть перенесены в другие страны.

Пример 1

Предположим, что университет хочет уточнить свои критерии приема, чтобы они могли принимать «лучших» студентов. Также предположим, что средний балл студента (GPA) - это то, что университет желает использовать в качестве показателя эффективности для студентов. Они имеют в виду несколько критериев, таких как средний школьный балл (HSGPA), баллы SAT (SAT), пол и т. Д., И они хотели бы знать, какой из этих критериев имеет значение для GPA.

Решение: множественная регрессия

В приведенном выше контексте есть одна зависимая переменная (GPA), и у вас есть несколько независимых переменных (HSGPA, SAT, Gender и т. Д.). Вы хотите выяснить, какая из независимых переменных является хорошим предиктором для вашей зависимой переменной. Вы должны использовать множественную регрессию, чтобы сделать эту оценку.

Пример 2

Вместо описанной выше ситуации предположим, что приемная комиссия хочет отслеживать успеваемость учащихся во времени и хочет определить, какой из их критериев влияет на успеваемость учащихся во времени. Другими словами, у них есть баллы GPA за четыре года, в течение которых ученик остается в школе (скажем, GPA1, GPA2, GPA3, GPA4), и они хотят знать, какая из независимых переменных прогнозирует баллы GPA лучше по годам. год основания Приемная комиссия надеется обнаружить, что одни и те же независимые переменные прогнозируют производительность на протяжении всех четырех лет, поэтому их выбор критериев приема гарантирует, что успеваемость учащихся неизменно высока на протяжении всех четырех лет.

Решение: многомерная регрессия

В примере 2 у нас есть несколько зависимых переменных (например, GPA1, GPA2, GPA3, GPA4) и несколько независимых переменных. В такой ситуации вы бы использовали многомерную регрессию.

Простая регрессия относится к одной зависимой переменной ( ) и одной независимой переменной ( ):$y$$x$$y = f(x)$

Множественная регрессия (регрессия с несколькими переменными ) относится к одной зависимой переменной и нескольким независимым переменным:$y = f(x_1, x_2, ..., x_n)$

Многомерная регрессия относится к множеству зависимых переменных и множеству независимых переменных: . Вы можете столкнуться с проблемами, когда и зависимые, и независимые переменные расположены в виде матриц переменных (например, и ), поэтому Выражение может быть записано как , где заглавные буквы обозначают матрицы.у 11 , у 12 , . , , х 11 , х 12 , . , , Y = f ( X $y_1, y_2, ..., y_m = f(x_1, x_2, ..., x_n)$$y_{11}, y_{12}, ...$$x_{11}, x_{12}, ...$$Y = f(X)$

Дальнейшее чтение:

• «Поваренная книга R», автор P. Teetor, издатель O'Reilly, 2011 год, глава 11 «Линейная регрессия и ANOVA».
• Вопрос « Какова разница между множественной линейной регрессией и многомерной регрессией? »
• Mathworks (Matlab) учебник по линейной регрессии .

Я думаю, что ключевой момент (и отличительный признак) здесь, помимо количества переменных по обе стороны уравнения, заключается в том, что для случая многомерной регрессии цель состоит в том, чтобы использовать тот факт, что существует (как правило) корреляция между переменными ответа (или результаты). Например, в медицинском исследовании предикторами могут быть вес, возраст и раса, а переменными результата являются артериальное давление и уровень холестерина. Теоретически мы могли бы создать две модели «множественной регрессии», одна из которых регрессировала артериальное давление на вес, возраст и расу, а вторая - регрессировать холестерин по тем же факторам. Тем не менее, в качестве альтернативы, мы могли бы создать одну модель многомерной регрессии, которая предсказывает каккровяное давление и холестерин одновременно на основе трех переменных предиктора. Идея состоит в том, что модель многомерной регрессии может быть лучше (более прогнозирующей) в той мере, в которой она может извлечь больше пользы из корреляции между артериальным давлением и холестерином у пациентов.

В многомерной регрессии существует более одной зависимой переменной с различными дисперсиями (или распределениями). Переменные предиктора могут быть больше одного или нескольких. Так что это может быть множественная регрессия с матрицей зависимых переменных, то есть множественные дисперсии. Но когда мы говорим о множественной регрессии, мы имеем в виду только одну зависимую переменную с одним распределением или дисперсией. Переменные предиктора больше одного. Суммируя множественные, ссылается на более чем одну переменную предиктора, но многовариантная ссылается на более чем одну зависимую переменную.