Корреляция Пирсона наборов данных с возможно нулевым стандартным отклонением?

У меня проблема с вычислением коэффициента корреляции Пирсона для наборов данных с возможным нулевым стандартным отклонением (т. Е. Все данные имеют одинаковое значение).

Предположим, что у меня есть следующие два набора данных:

float x[] = {2, 2, 2, 3, 2};
float y[] = {2, 2, 2, 2, 2};

Коэффициент корреляции "r" будет рассчитываться с использованием следующего уравнения:

float r = covariance(x, y) / (std_dev(x) * std_dev(y));

Однако, поскольку все данные в наборе данных «y» имеют одинаковое значение, стандартное отклонение std_dev (y) будет равно нулю, а «r» будет неопределенным.

Есть ли решение этой проблемы? Или я должен использовать другие методы для измерения связи данных в этом случае?

«Теория выборки» скажет вам, что такой оценки не существует. Но вы можете получить его, вам просто нужно быть разумным в отношении вашей предыдущей информации и выполнять более сложную математическую работу.

Если вы указали байесовский метод оценки, а апостериор такой же, как и предыдущий, то вы можете сказать, что данные ничего не говорят о параметре. Поскольку вещи могут стать «особенными» для нас, то мы не можем использовать бесконечные пространства параметров. Я предполагаю, что, поскольку вы используете корреляцию Пирсона, у вас есть двумерное нормальное правдоподобие:

где Qi=(xi

$$p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)=\left(\sigma_x\sigma_y\sqrt{2\pi(1-\rho^2)}\right)^{-N}exp\left(-\frac{\sum_{i}Q_i}{2(1-\rho^2)}\right)$$ $$Q_i=\frac{(x_i-\mu_x)^2}{\sigma_x^2}+\frac{(y_i-\mu_y)^2}{\sigma_y^2}-2\rho\frac{(x_i-\mu_x)(y_i-\mu_y)}{\sigma_x\sigma_y}$$

Теперь, чтобы указать, что один набор данных может иметь одно и то же значение, напишите , и тогда мы получим:$y_i=y$

где s2x=

$$\sum_{i}Q_i=N\left[\frac{(y-\mu_y)^2}{\sigma_y^2}+\frac{s_x^2 + (\overline{x}-\mu_x)^2}{\sigma_x^2}-2\rho\frac{(\overline{x}-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y}\right]$$ $$s_x^2=\frac{1}{N}\sum_{i}(x_i-\overline{x})^2$$

И поэтому ваша вероятность зависит от четырех чисел, . Таким образом, вы хотите оценить ρ , поэтому вам нужно умножить на априор и интегрировать неприятные параметры μ x , μ y , σ x , σ y . Теперь, чтобы подготовиться к интеграции, мы «завершим квадрат» $s_x^2,y,\overline{x},N$$\rho$$\mu_x,\mu_y,\sigma_x,\sigma_y$

$$\frac{\sum_{i}Q_i}{1-\rho^2}=N\left[\frac{\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{\sigma_y^2(1-\rho^{2})}+\frac{s_x^2}{\sigma_{x}^{2}(1-\rho^{2})} + \frac{(\overline{x}-\mu_x)^2}{\sigma_x^2}\right]$$

$L_{\mu}<\mu_x,\mu_y<U_{\mu}$$L_{\sigma}<\sigma_x,\sigma_y<U_{\sigma}$$\rho$$\pm 1$

$$p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)=\frac{p(\rho)}{A\sigma_x\sigma_y}$$

$A=2(U_{\mu}-L_{\mu})^{2}[log(U_{\sigma})-log(L_{\sigma})]^{2}$

$$p(\rho|D)=\int p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$$=\frac{p(\rho)}{A[2\pi(1-\rho^2)]^{\frac{N}{2}}}\int_{L_{\sigma}}^{U_{\sigma}}\int_{L_{\sigma}}^{U_{\sigma}}\left(\sigma_x\sigma_y\right)^{-N-1}exp\left(-\frac{N s_x^2}{2\sigma_{x}^{2}(1-\rho^{2})}\right) \times$$ $$\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N(\overline{x}-\mu_x)^2}{2\sigma_x^2}\right)\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{2\sigma_y^2(1-\rho^{2})}\right)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$\mu_y$$z=\sqrt{N}\frac{\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\sigma_y\sqrt{1-\rho^{2}}}\implies dz=\frac{\sqrt{N}}{\sigma_y\sqrt{1-\rho^{2}}}d\mu_y$$\mu_y$

$$\frac{\sigma_y\sqrt{2\pi(1-\rho^{2})}}{\sqrt{N}}\left[\Phi\left( \frac{U_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)-\Phi\left( \frac{L_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)\right]$$

$\rho$$p(\rho)$$\rho$

$\mu_y$$\rho$$\Phi(.)$$\rho$$-0.99,-0.98,\dots,0.98,0.99$довольно легко. Просто замените интегралы суммированием на достаточно малых интервалах - так вы получите тройное суммирование

$gower(v1,v2)=\frac{\sum_{i=1}^{n}\delta(v1_i,v2_i)}{n}$$\delta$$v1,v2$ .

Например, если все значения равны, gower (.,.) = 1. Если, с другой стороны, они отличаются только в одном измерении, газонокосилка (.,.) = 0,9. Если они различаются в каждом измерении, gower (.,.) = 0 и так далее.

Конечно, это не показатель корреляции, но он позволяет рассчитать, насколько близок вектор с s> 0 к вектору с s = 0. Конечно, вы можете применять и другие метрики, если они лучше соответствуют вашим целям.

В этом случае корреляция не определена. Если вы должны определить это, я бы определил его как 0, но вместо этого рассмотрим простую среднюю абсолютную разницу.

Этот вопрос задается программистами, поэтому я бы предложил подключить ноль. Нет никаких доказательств корреляции, и нулевая гипотеза будет нулевой (без корреляции). Могут существовать другие знания о контексте, которые обеспечат «типичную» корреляцию в одном контексте, но код может быть повторно использован в другом контексте.