Усреднение значений корреляции

20

Допустим, я проверяю, как переменная Yзависит от переменной Xв различных экспериментальных условиях, и получаю следующий график:

введите описание изображения здесь

Штриховые линии на графике выше представляют линейную регрессию для каждого ряда данных (экспериментальная установка), а цифры в легенде обозначают корреляцию Пирсона для каждого ряда данных.

Я хотел бы рассчитать «среднюю корреляцию» (или «среднюю корреляцию») между Xи Y. Могу ли я просто усреднить rзначения? А как насчет «среднего критерия определения», ? Должен ли я рассчитать среднее значение, а затем взять квадрат этого значения или рассчитать среднее значение отдельных ? $R^2$ r $R^2$

— Борис Горелик
источник

15

Простой способ - добавить категориальную переменную чтобы идентифицировать различные экспериментальные условия, и включить ее в вашу модель вместе с «взаимодействием» с ; то есть . Это проводит все пять регрессий одновременно. Его - это то, что вы хотите. $z$ $x$ $y \sim z + x\#z$ $R^2$

Чтобы понять, почему усреднение отдельных значений может быть неправильным, предположим, что направление наклона меняется в некоторых экспериментальных условиях. Вы бы усреднили кучу 1 и -1 примерно до 0, что не отражало бы качество любой подгонки. Чтобы понять, почему усреднение (или любое его фиксированное преобразование) неверно, предположим, что в большинстве экспериментальных условий у вас было только два наблюдения, так что их все равны , но в одном эксперименте у вас было сто наблюдений с . Среднее значение равное почти 1, не будет правильно отражать ситуацию. $R$ $R^2$ $R^2$ $1$ $R^2=0$ $R^2$

— Whuber
источник

1

простите за мое невежество, но что означает знак # в вашем ответе?

— Борис Горелик

1

Я думаю, что ваш ответ очень хороший для подразумеваемого определения используемой корреляции. Что, если они имели в виду это как средний стандартизированный уклон (возможно, подразумеваемый рисунком)? В этом случае вы хотите отменить негативы и позитивы. Вы не знаете о размере выборки. Также рассмотрите возможность перемещения вашего комментария в ваш ответ.

— Джон

Вы хотите

или скорректированный

?

R^{2}

$R^2$

R^{2}

$R^2$

— Расселпирс

@whuber в вашем первоначальном комментарии, вы имеете в виду, что корреляция может быть

;

в каждом случае

. (Я понимаю, что это только проблема с печатанием или редактированием; это не меняет вашу точку зрения, но может ввести в заблуждение.)

\pm 1

$\pm 1$

R^{2}

$R^2$

1

$1$

— Glen_b -Восстановить Монику

R^{2}

$R^2$

R^{2}

$R^2$

1

$1$

24

Для коэффициентов корреляции Пирсона обычно целесообразно преобразовать значения r, используя преобразование Фишера z . Затем усредните z-значения и преобразуйте среднее обратно в значение r .

Я думаю, что это было бы хорошо и для коэффициента Спирмена.

Вот документ и википедии запись .

— Amyunimus
источник

1

+1; Этот ответ кажется более подходящим и общим, чем принятый ответ, однако в конкретном случае использования он не развалится при значениях r, равных 1? Разумно ли здесь что-то вроде эмпирического логита, когда нужно просто «добавить» точку данных, в которой отсутствует корреляция? Если да, то где его добавить? Нужно ли проводить симуляцию Монте-Карло, выбирая две случайные величины из исходных распределений? В качестве альтернативы можно было бы просто настроить r на некоторое значение чуть меньше 1? Насколько далеко нужно отрегулировать?

— Расселпирс

3

Средняя корреляция может быть значимой. Также рассмотрим распределение корреляций (например, построим гистограмму).

$n$

$m$

— Карл
источник

1

Как насчет использования среднеквадратичного прогнозируемого eror (MSPE) для производительности алгоритма? Это стандартный подход к тому, что вы пытаетесь сделать, если вы пытаетесь сравнить прогнозирующую производительность среди набора алгоритмов.

— StatsStudent
источник

Я не уверен, почему этот пост stats.stackexchange.com/questions/17129/… был объединен с этим. На самом деле они задают два разных вопроса, на мой взгляд, - две разные цели.

— StatsStudent

1

Вы правы: это разные вопросы. Я проголосовал за повторное открытие другого поста (хотя какой эффект это может иметь, неясно). Я прошу прощения за то, что не увидел ваш комментарий: если бы вы пометили этот пост, он привлек бы наше внимание на несколько лет раньше!

— whuber