В настройках классической многомерной линейной регрессии мы имеем модель:
Y= Хβ+ ϵ
где представляет независимые переменные, представляет множественные переменные отклика, а - это термин iid гауссовского шума. Шум имеет нулевое среднее значение и может быть коррелирован по переменным отклика. Максимальное правдоподобное решение для весов эквивалентно решению для наименьших квадратов (независимо от шумовых корреляций) [1] [2]:ИксYε
β^= ( XTИкс)- 1ИксTY
Это эквивалентно независимому решению отдельной задачи регрессии для каждой переменной ответа. Это видно из того факта, что й столбец (содержащий веса для й выходной переменной) можно получить умножением на столбец (содержит значения переменной ответа ).яβ^я( ХTИкс)- 1ИксTяYя
Однако многомерная линейная регрессия отличается от отдельного решения отдельных задач регрессии, поскольку процедуры статистического вывода учитывают корреляции между переменными множественного отклика (например, см. [2], [3], [4]). Например, ковариационная матрица шума отображается в распределениях выборки, статистике испытаний и оценках интервалов.
Другое различие возникает, если мы разрешаем каждой переменной ответа иметь свой собственный набор ковариат:
Yя= Хяβя+ ϵя
где представляет ую переменную ответа, а и представляют соответствующий ей набор ковариат и шумового члена. Как указано выше, условия шума могут коррелироваться между переменными отклика. В этом параметре существуют оценщики, которые более эффективны, чем метод наименьших квадратов, и их нельзя сводить к решению отдельных задач регрессии для каждой переменной отклика. Например, см. [1].YяяИксяεя
использованная литература
- Зеллнер (1962) . Эффективный метод оценки, казалось бы, не связанных регрессий и тестов на смещение агрегации.
- Хелвиг (2017) . Многомерная линейная регрессия [Слайды]
- Fox and Weisberg (2011) . Многомерные линейные модели в R. [Приложение к: Сопоставление R с прикладной регрессией]
- Майтра (2013) . Модели многомерной линейной регрессии. [Слайды]