Что означает ортогональность в контексте статистики?

60

В других контекстах ортогональный означает «под прямым углом» или «перпендикулярно».

Что означает ортогональность в статистическом контексте?

Спасибо за любые разъяснения.

descriptive-statistics

2

Спасибо за вопрос. Я задал более общий вопрос: что распространено среди всех случаев ортогональности? Мне также было интересно узнать, как статистическая независимость удовлетворяет этому свойству? phys.stackexchange.com/questions/67506

— Val

5

Я удивлен, что ни один из ответов здесь не упоминает, что обычно это подразумевается в математическом смысле слова «линейная алгебра». Например, когда мы говорим о «ортогонального набора переменных» , как правило , это означает , что для матрицы с множеством переменных . "orthonormal" используется также.

X^{T} X = I

$X^{T}X=I$

X

$X$

— вероятностная

4

@probability «Ортогональный» имеет значение для векторного пространства с квадратичной формой : два вектора и ортогональны тогда и только тогда, когда . «Ортонормальный» означает, кроме того, что . Таким образом, «ортогональный» и «ортонормированный» не являются синонимами и не ограничиваются конечными матрицами. ( Например , и могут быть элементами гильбертова пространства, например, пространства комплексных функций на используемых в классической квантовой механике.)

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

— whuber

Эта ссылка может помочь понять (не) связь ортогональности и корреляции. alecospapadopoulos.wordpress.com/2014/08/16/…

— RBirkelbach

Растущая коллекция разных (но правильных) ответов указывает на то, что это хорошая тема CW.

— whuber

-16

Это означает, что они [случайные величины X, Y] «независимы» друг от друга. Независимые случайные величины часто рассматриваются как находящиеся «под прямым углом» друг к другу, где под «прямыми углами» подразумевается, что внутреннее произведение двух равно 0 (эквивалентное условие линейной алгебры).

Например, на плоскости XY оси X и Y называются ортогональными, потому что, если значение x данной точки изменяется, скажем, при переходе от (2,3) к (5,3), ее значение y остается неизменным (3), и наоборот. Следовательно, две переменные являются «независимыми».

Смотрите также записи Википедии о независимости и ортогональности

— crazyjoe
источник

24

Поскольку различие между корреляцией и отсутствием зависимости важно, приравнивать ортогональность к независимости не следует.

— whuber

Поскольку ни ОП, ни ответчик не работают более года, вероятно, стоит отредактировать это, чтобы хотя бы дать четкий ответ. Я пытался это сделать.

— Асад Эбрахим

1

Один общий контрпример к этому в статистике - PCA против ICA, где PCA обеспечивает ортогональность, а ICA максимизирует независимость.

— 2007 года

5

Модераторам: обидно, что этот хороший и очень популярный вопрос «застрял» с ответом, который многие считают лучше понизить (текущий счет -4). Поскольку как OP, так и ответчик не были активны более года, возможно, «принятый» чек можно убрать, а вопрос оставить «открытым». Более полные ответы ниже говорят сами за себя.

— Асад Эбрахим

1

Модификации @Assad не могут отменить принятие OP. Это провинция ОП.

— Glen_b

33

Я не могу комментировать, потому что у меня недостаточно очков, поэтому я вынужден высказать свое мнение в качестве ответа, пожалуйста, прости меня. Из всего, что я знаю, я не согласен с выбранным ответом @crazyjoe, потому что ортогональность определяется как

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Так:

Если с симметричным pdf, то они являются зависимыми, но ортогональными. $Y=X^2$

Если но pdf ноль для отрицательных значений, то они зависимы, но не ортогональны. $Y=X^2$

Следовательно, ортогональность не подразумевает независимости.

— user497804
источник

2

Что за звездочка (звезда) в ?

Y^{*}

$Y^{*}$

— Mugen

2

@mugen, вероятно, указывает на комплексное сопряжение.

— А. Донда

Примечание для себя (и, возможно, для других) - я считаю, что (для вещественных функций, которые мы можем покончить с комплексным сопряженным (?)) Является внутренним произведением случайных величин и , определяемых как ожидание произведения их PDF-

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

— файлов

21

Если X и Y независимы, то они ортогональны. Но обратное неверно, на что указывает умный пример пользователя 497804. Для точных определений обратитесь к

Ортогональные: комплексные случайные величины и называются ортогональными, если они удовлетворяют $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Стр. 376, Вероятность и случайные процессы Джеффри Гримметта и Дэвида Стирзакера)

Независимо: случайные величины и являются независимыми тогда и только тогда, когда для всех $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

что для непрерывных случайных величин эквивалентно требованию, чтобы $f(x,y) = f_X(x)f_Y(y)$

(Страница 99, Вероятность и случайные процессы Джеффри Гримметта и Дэвида Штирзакера)

— Naresh
источник

21

@Mien уже дал ответ, и, как указал @whuber, ортогональный означает некоррелированный. Тем не менее, я бы очень хотел, чтобы люди давали ссылки. Вы можете счесть полезными следующие ссылки, поскольку они объясняют концепцию корреляции с геометрической точки зрения.

Геометрия векторов (см. Стр. 7)
Линейно-независимые, ортогональные и некоррелированные переменные
Графическое представление двумерной корреляции в векторном пространстве (может быть не бесплатным для вас)

— Бернд Вайс
источник

1

Вторая ссылка объяснила все, что я хотел знать. Спасибо! :)

— Ленар Хойт

Real-значный случайные величины Xи Yнекоррелированны тогда и только тогда , когда центрированный переменные X-E(X)и Y-E(Y)ортогональны. [ref]

— knedlsepp

1

@Bernd Первые две ссылки не работают.

— перегружен

@ overwhelmed Я предполагаю, что это статья, на которую указывала вторая ссылка.

— Джош О'Брайен,

8

Веб-сайт NIST (ссылка ниже) определяет ортогональность следующим образом: «Экспериментальный дизайн является ортогональным, если влияние любого фактора уравновешивает (сумма до нуля) влияние других факторов».

В статистическом дизайне я понимаю, что ортогональный означает «не сооснованный» или «не псевдоним». Это важно при разработке и анализе эксперимента, если вы хотите убедиться, что можете четко определить различные факторы / методы лечения. Если ваш запланированный эксперимент не ортогональн, то это означает, что вы не сможете полностью разделить эффекты различных методов лечения. Таким образом, вам нужно будет провести дополнительный эксперимент, чтобы разобраться с эффектом. Это можно назвать расширенным дизайном или сравнительным дизайном.

Независимость кажется плохим выбором слова, поскольку она используется во многих других аспектах проектирования и анализа.

Ссылка NIST http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— Крис
источник

3

+1 за представление экспериментального контекста дизайна. Слово «ортогональный» заслуживает того, чтобы его использовать здесь, потому что оно на самом деле в точности совпадает с математическим понятием: векторы (столбцы), представляющие факторы в эксперименте, рассматриваемые как элементы евклидова пространства, действительно будут ортогональными (справа углы, с нулевой точкой) в ортогональном дизайне.

— whuber

2

Скорее всего, они имеют в виду «не связанные», если говорят «ортогональные»; если два фактора являются ортогональными (например, в факторном анализе), они не связаны, их корреляция равна нулю.

— наружность
источник

3

Коэффициент корреляции (или естественно интерпретируется как) косинус угла. Когда он равен нулю, как вы думаете, угол? :-) Некоррелированный не означает несвязанный!

— whuber

Я не говорю, что вы не правы, но не могли бы вы привести пример чего-то некоррелированного и родственного; или наоборот? Я не уверен, что понимаю разницу.

— Mien

И да, я знаю, что этот угол будет 90 °. Правый угол является ортогональным.

— Mien

5

Пусть - случайная величина, принимающая значения в с равной вероятностью, и пусть . Корреляция между и является , но очевидно , что они связаны: является функцией .

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

— предположительно нормальный

Ах да, спасибо. Но обратное невозможно, не так ли (если нет третьей переменной или чего-то подобного)?

— Mien,

2

Согласно http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf , линейная независимость является необходимым условием ортогональности или некоррелированности. Но есть более тонкие различия, в частности, ортогональность не является некоррелированностью.

— user45059
источник

1

Я задал похожий вопрос Какова связь между ортогональностью и ожиданием продукта RV , и я воспроизвожу ответ здесь. Хотя ортогональность является понятием из линейной алгебры и означает, что скалярное произведение двух векторов равно нулю, этот термин иногда свободно используется в статистике и означает некорреляцию. Если два случайных вектора ортогональны, то их централизованный аналог некоррелирован, потому что ортогональность (нулевое скалярное произведение) подразумевает некорреляцию централизованных случайных векторов (иногда люди говорят, что ортогональность подразумевает, что перекрестный момент равен нулю). Всякий раз, когда у нас есть два случайных вектора , мы всегда можем сосредоточить их вокруг их средств, чтобы их ожидание было равно нулю. Предположим, ортогональность ( $(X,Y)$ $X\cdot Y=0$ ), то корреляция централизованных случайных величин

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— Диого
источник

1

В эконометрике предположение об ортогональности означает, что ожидаемое значение суммы всех ошибок равно 0. Все переменные регрессора ортогональны своим текущим слагаемым ошибок.

Математически предположение об ортогональности . $E(x_{i}·ε_{i}) = 0$

Проще говоря, это означает, что регрессор «перпендикулярен» члену ошибки.

— Леопольд В.
источник

-2

Два или более IV не связаны (независимы) друг с другом, но оба влияют на DV. Каждый IV отдельно вносит определенную ценность в результат, в то время как оба или все IV также вносят дополнительный вклад в прогнозирование дохода (ортогональное = непересекающееся влияние IV на DV). IV не являются корреляционными между собой и обычно расположены под прямым углом * см. Диаграмму Венна.

Пример: связь между мотивацией и годами обучения по доходу.

IV = Годы образования IV = Мотивация DV = Доход

https://onlinecourses.science.psu.edu/stat505/node/167

— похлопывание
источник

-2

Связанные случайные переменные означают, что переменные говорят, что X и Y могут иметь любое отношение; может быть линейным или нелинейным. Независимость и ортогональные свойства одинаковы, если две переменные связаны линейно.

— Дж Субрамани
источник

2

Это увековечивает ошибку, сделанную crazyjoe: ортогональность не подразумевает независимость, если переменные не распределены вместе нормально.

— whuber