Когда ковариация расстояния менее подходит, чем линейная ковариация?

Я только что познакомился (смутно) с броуновской / дистанционной ковариацией / корреляцией . Это кажется особенно полезным во многих нелинейных ситуациях при тестировании на зависимость. Но это, кажется, не используется очень часто, хотя ковариация / корреляция часто используются для нелинейных / хаотических данных.

Это заставляет меня думать, что у ковариации расстояния могут быть некоторые недостатки. Так что же это такое, и почему не все всегда используют ковариацию расстояния?

Я попытался собрать несколько замечаний о ковариации расстояния, основываясь на своих впечатлениях от чтения ссылок, перечисленных ниже. Однако я не считаю себя экспертом в этой теме. Комментарии, исправления, предложения и т. Д. Приветствуются.

Замечания (сильно) смещены в сторону потенциальных недостатков, как и требовалось в первоначальном вопросе .

На мой взгляд, потенциальные недостатки заключаются в следующем:

1. Методология новая . Я предполагаю, что это единственный важный фактор, связанный с отсутствием популярности в настоящее время. Документы, описывающие ковариацию расстояния, начинаются в середине 2000-х годов и продвигаются до наших дней. Вышеуказанная статья привлекла наибольшее внимание (ажиотаж?), И ей менее трех лет. Напротив, теория и результаты по корреляции и корреляционные меры имеют более чем столетнюю работу за ними.
2. Основные понятия более сложные . Соотношение «продукт-момент» Пирсона на операционном уровне довольно легко можно объяснить первокурснику из колледжа, не имеющему оснований для исчисления. Можно изложить простую «алгоритмическую» точку зрения, а геометрическую интуицию легко описать. Напротив, в случае ковариации расстояний даже понятие сумм произведений попарно евклидовых расстояний несколько сложнее, и понятие ковариации относительно случайного процесса выходит далеко за рамки того, что можно разумно объяснить такой аудитории. ,
3. Это вычислительно более требовательно . Основным алгоритмом для вычисления статистики теста является в размере выборки, а не для стандартных метрик корреляции. Для небольших размеров выборки это не имеет большого значения, но для более крупных это становится более важным.$O(n^2)$$O(n)$
4. Статистика теста не распространяется бесплатно, даже асимптотически . Можно надеяться, что для тестовой статистики, которая совместима со всеми альтернативами, что распределение - по крайней мере асимптотически - может быть независимым от базовых распределений и при нулевой гипотезе. Это не относится к ковариации расстояний, поскольку распределение под нулем зависит от базового распределения и даже если размер выборки стремится к бесконечности. Это является истинным , что распределения равномерно ограничены распределения, что позволяет для расчета консервативного критического значения.$X$$Y$$X$$Y$$\chi^2_1$
5. Корреляция расстояний является взаимно-однозначным преобразованиемв двумерном нормальном случае$|\rho|$ . Это на самом деле не недостаток, и может даже рассматриваться как сила. Но если принять двумерное нормальное приближение к данным, которое может быть довольно распространенным на практике, то мало что, если вообще что-либо, получается от использования корреляции расстояний вместо стандартных процедур.
6. Неизвестные энергетические свойства . Быть последовательным в отношении всех альтернатив по существу гарантирует, что дистанционная ковариация должна иметь очень низкую мощность по сравнению с некоторыми альтернативами. Во многих случаях каждый желает отказаться от общности, чтобы получить дополнительную власть против определенных альтернатив, представляющих интерес. В оригинальных работах приводятся некоторые примеры, в которых они заявляют о высокой мощности по сравнению со стандартными метриками корреляции, но я считаю, что, возвращаясь к (1) выше, его поведение по отношению к альтернативам еще не до конца понятно.

Повторюсь, этот ответ, вероятно, встречается довольно отрицательно. Но это не намерение. Есть несколько очень красивых и интересных идей, связанных с ковариацией расстояния, и относительная новизна этого также открывает исследовательские возможности для более полного ее понимания.

Рекомендации :

1. GJ Szekely и ML Rizzo (2009), броуновская дистанционная ковариация , Ann. Appl. Statist. том 3, нет 4, 1236–1265.
2. GJ Szekely, ML Rizzo и NK Bakirov (2007), Измерение и проверка независимости по корреляции расстояний , Ann. Statist. том 35, 2769–2794.
3. Р. Лайонс (2012), Ковариация расстояния в метрических пространствах , Ann. Вероятно. (появляться).

Я вполне мог бы что-то упустить, но просто количественная оценка нелинейной зависимости между двумя переменными, похоже, не принесет больших результатов. Это не скажет вам форму отношений. Это не даст вам возможности предсказать одну переменную из другой. По аналогии, при проведении исследовательского анализа данных иногда используют кривую лёсса (локально взвешенный график рассеяния) в качестве первого шага, чтобы увидеть, лучше ли моделируются данные с помощью прямой линии, квадратичного, кубического и т. Д. Но потеря в и само по себе не очень полезный инструмент прогнозирования. Это всего лишь первое приближение на пути к поиску работоспособного уравнения для описания двумерной формы. Это уравнение, в отличие от лёсса (или результата ковариации расстояния), может служить основой подтверждающей модели.