Преобразование многомерной линейной модели в множественную регрессию


20

Является ли преобразование модели многомерной линейной регрессии в множественную линейную регрессию полностью эквивалентным? Я не имею в виду , просто запустив T отдельных регрессий.

Я читал это в нескольких местах (Байесовский анализ данных - Гельман и др. И Многовариантная старая школа - Марден), что многомерная линейная модель может быть легко репараметризована как множественная регрессия. Однако ни один источник не уточняет это вообще. По сути, они просто упоминают об этом, а затем продолжают использовать многомерную модель. Математически я сначала напишу многовариантную версию,

YN×Tзнак равноИксN×КВК×T+рN×T,
где полужирные переменные - это матрицы с размерами ниже них. Как обычно,Y- данные,Икс- матрица проектирования,р- нормально распределенные остатки, аВ- это то, с чем мы заинтересованы делать выводы.

Чтобы перепараметрировать это как знакомую множественную линейную регрессию, нужно просто переписать переменные следующим образом:

YNT×1знак равноDNT×NКβNК×1+рNT×1,

где используются повторные параметры: , и . означает, что строки матрицы расположены последовательно в длинный вектор, а - это произведение Кронекера, или внешнее произведение.β = r o w ( B ) D = XI n r o w ( ) Yзнак равноровес(Y)βзнак равноровес(В)Dзнак равноИксяNровес()

Итак, если это так просто, зачем писать книги по многомерным моделям, тестировать статистику для них и т. Д.? Наиболее эффективно сначала преобразовать переменные и использовать обычные одномерные методы. Я уверен, что есть веская причина, мне просто трудно думать об этом, по крайней мере, в случае линейной модели. Существуют ли ситуации с многомерной линейной моделью и нормально распределенными случайными ошибками, когда эта репараметризация не применяется или ограничивает возможности анализа, который вы можете предпринять?

Источники, которые я видел это: Марден - многомерная статистика: Старая школа. Смотрите разделы 5.3 - 5.5. Книга доступна бесплатно по адресу : http://istics.net/stat/

Гельман и соавт. - Байесовский анализ данных. У меня есть второе издание, и в этой версии есть небольшой абзац в гл. 19 «Модели многомерной регрессии» под названием «Эквивалентная модель одномерной регрессии»

В принципе, можете ли вы сделать все с помощью эквивалентной модели линейной одномерной регрессии, которую вы могли бы сделать с помощью многомерной модели? Если так, зачем вообще разрабатывать методы для многомерных линейных моделей?

А как насчет байесовских подходов?


Это хороший вопрос. Может быть, вы могли бы попросить больше с точки зрения фондов, а не структуры.
Субхаш С. Давар

1
Что вы подразумеваете под фондами, а не структурой? Не могли бы вы уточнить?
bill_e

Могу заметить, что я изучил только две статьи как часть моей первой и аспирантской давности, у меня нет технической подготовки в технических описаниях. Я понимаю, что многовариантный анализ имеет разные допущения по сравнению с моделью множественной линейной регрессии или просто линейной регрессии. Допущения для многомерного анализа различны, т.е. преобладает математическое ожидание. множественная линейная регрессия делает некоторые другие предположения, которые приводят к гетероскедатичности. Я имею в виду структуру здесь относится к вашим уравнениям.
Субхаш С. Давар

Вы должны четко сказать это в заголовке или в начале, говорите ли вы о многомерной (общей) линейной модели или о байесовской многомерной регрессии .
ttnphns

1
Хорошо, так .. это не мой подход, я указал на два места, где я видел это. Подход - суть проблемы. В чем разница между многовариантной версией и репараметризованной одномерной версией?
bill_e

Ответы:


5

В принципе, можете ли вы сделать все с помощью эквивалентной модели линейной одномерной регрессии, которую вы могли бы сделать с помощью многомерной модели?

Я считаю, что ответ - нет.

Если ваша цель - просто оценить эффекты (параметры в ) или сделать дальнейшие прогнозы, основанные на модели, тогда да, не имеет значения принимать какую модель формулировки между этими двумя.В

Тем не менее, чтобы сделать статистические выводы, особенно для проведения классического тестирования значимости, многомерная формулировка кажется практически незаменимой. В частности, позвольте мне использовать типичный анализ данных в психологии в качестве примера. Данные по субъектам выражены какN

YN×Tзнак равноИксN×КВК×T+рN×T,

К-1ИксTY

С вышеупомянутой формулировкой любая общая линейная гипотеза может быть легко выражена как

LВMзнак равноС,

LLС0

Прелесть многомерной системы заключается в ее разделении между двумя типами переменных, между субъектом и внутри него. Именно это разделение позволяет легко сформулировать три типа значимого тестирования в многомерной структуре: классическое многомерное тестирование, многофакторное тестирование с повторными измерениями и одномерное тестирование с повторными измерениями. Кроме того, тестирование Моучли на нарушение сферичности и соответствующие методы коррекции (Greenhouse-Geisser и Huynh-Feldt) также становятся естественными для одномерного тестирования в многомерной системе. Именно так статистические пакеты реализовали эти тесты, такие как car в R, GLM в IBM SPSS Statistics и оператор REPEATED в PROC GLM SAS.

Я не уверен, имеет ли значение формулировка при анализе байесовских данных, но я сомневаюсь, что вышеупомянутые возможности тестирования могут быть сформулированы и реализованы на основе однофакторной платформы.


Я вижу, это имеет смысл. Спасибо за отличный ответ. Я бы тоже хотел услышать байесовскую перспективу.
bill_e

@PeterRabbit Если вам нравится ответ, пожалуйста, выразите свою благодарность bluepole, приняв его ответ. Он получит очки.
pteetor

Я буду, я просто протянул немного, чтобы посмотреть, предложит ли кто-нибудь перспективу Байеса.
bill_e

4

Обе модели эквивалентны, если вам подходит соответствующая дисперсионно-ковариационная структура. В преобразованной линейной модели нам нужно согласовать дисперсионно-ковариационную матрицу компонента ошибки с продуктом kronecker, доступность которого ограничена доступными вычислительными программами. Теория линейных моделей - одномерные, многомерные и смешанные модели - отличный справочник по этой теме.

Edited

Вот еще одна хорошая ссылка в свободном доступе.


2
О, хорошо, поэтому в нормальной одномерной модели нет типа ковариационной структуры «внутри» DV. Поэтому проверки гипотез, связанные с этим, не существуют. Спасибо! Я посмотрю, смогу ли я забрать эту книгу.
bill_e
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.