Вычисление нового стандартного отклонения с использованием старого стандартного отклонения после изменения набора данных

У меня есть массив из $n$ реальных значений, который имеет среднее значение $\mu_{old}$ и стандартное отклонение $\sigma_{old}$ . Если элемент массива $x_i$ заменяется другим элементом , то новое среднее значение будет $x_j$

$\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n}$

Преимущество этого подхода в том, что он требует постоянного вычисления независимо от значения . Есть ли какой-либо подход к вычислению с использованием как вычисление с использованием ? $n$ $\sigma_{new}$ $\sigma_{old}$ $\mu_{new}$ $\mu_{old}$

standard-deviation online

— пользователь
источник

Это домашнее задание? Очень похожая задача была

— задана

@ user946850: Нет, это не домашняя работа. Я веду свою диссертацию по эволюционному алгоритму . Я хочу использовать стандартное отклонение как показатель разнообразия населения. Просто ищу более эффективное решение.

— пользователь

SD - это квадратный корень из дисперсии, который является просто среднеквадратичным значением (скорректированным на кратное среднеквадратичного значения, которое вы уже знаете, как обновить). Следовательно, те же методы, которые использовались для вычисления среднего значения, могут применяться без каких-либо фундаментальных изменений для вычисления текущего отклонения. Фактически, гораздо более сложные статистические данные могут быть вычислены в режиме онлайн с использованием тех же идей: например, посмотрите потоки по адресу stats.stackexchange.com/questions/6920 и stats.stackexchange.com/questions/23481 .

— whuber

@whuber: это упоминается в статье Википедии для Variance , но также с примечанием о возможной катастрофической отмене (или потере значимости). Это переоценено, или реальная проблема для бегущей дисперсии?

— krlmlr

Это отличный вопрос. Если вы наивно накапливаете отклонения, не центрируя их заранее, вы действительно можете попасть в беду. Проблема возникает, когда цифры огромны, но их дисперсия невелика. Например, рассмотрим серию точных измерений скорости света в м / с, как в 299792458.145, 299792457.883, 299792457.998, ...: их дисперсия, которая составляет около 0,01, настолько мала по сравнению с их квадратами, которые составляют около

, что небрежное вычисление (даже с двойной точностью) приведет к нулевой дисперсии: все значащие цифры исчезнут.

10^{17}

$10^{17}$

— whuber

Ответы:

Раздел в статье Википедии о «Алгоритмы для вычисления дисперсии» показывает , как вычислить дисперсию , если элементы добавляются к вашим наблюдениям. (Вспомните, что стандартное отклонение - это квадратный корень из дисперсии.) Предположим, что вы добавили в свой массив, затем $x_{n+1}$

σ_{n e w}^{2} = σ_{o l d}^{2} + (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \sigma_{old}^2 + (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

РЕДАКТИРОВАТЬ : Выше формула, кажется, неправильно, см. Комментарий.

Теперь замена элемента означает добавление наблюдения и удаление другого; оба могут быть вычислены по формуле выше. Однако имейте в виду, что могут возникнуть проблемы численной устойчивости; цитируемая статья также предлагает численно стабильные варианты.

Для того, чтобы вывести формулу самостоятельно, вычислить с использованием определения образца дисперсии и заменить по формуле вы дали , когда это необходимо. Это дает вам в конце, и, таким образом, формула для задана и $(n-1)(\sigma_{new}^2 - \sigma_{old}^2)$ $\mu_{new}$ $\sigma_{new}^2 - \sigma_{old}^2$ $\sigma_{new}$ $\sigma_{old}$ . В моей записи я предполагаю, что вы заменяете элемент на : $\mu_{old}$ $x_n$ $x_n'$

\begin{array}{rcl} σ^{2} & = & (n - 1)^{- 1} \sum_{k} (x_{k} - μ)^{2} \\ (n - 1) (σ_{n e w}^{2} - σ_{o l d}^{2}) & = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{n e w})^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{n e w})^{2} - (x_{n} - μ_{o l d})^{2}) \\ = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{n} - μ_{o l d})^{2}) \end{array}

$\begin{eqnarray*} \sigma^2 &=& (n-1)^{-1} \sum_k (x_k - \mu)^2 \\ (n-1)(\sigma_{new}^2 - \sigma_{old}^2) &=& \sum_{k=1}^{n-1} ((x_k - \mu_{new})^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{new})^2 - (x_n - \mu_{old})^2) \\ &=& \sum_{k=1}^{n-1} ((x_k - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_n - \mu_{old})^2) \\ \end{eqnarray*}\\$

$x_k$ $\mu_{old}$

— krlmlr
источник

the first formula you gave does not seem correct, well it means that if the

x_{n + 1}

$x_{n+1}$ is smaller/larger then from both new and old mean, the variance always increases, which does not make any sense. It may increase or decrease depending on the distribution.

— Emmet B

@EmmetB: Yes, you're right -- this should probably be

σ_{n e w}^{2} = \frac{n - 1}{n} σ_{o l d}^{2} + \frac{1}{n} (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \frac{n-1}{n} \sigma_{old}^2 + \frac{1}{n} (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$ Unfortunately, this renders void my whole discussion from there, but I'm leaving it for historic purposes. Feel free to edit, though.

— krlmlr

Based on what i think i'm reading on the linked Wikipedia article you can maintain a "running" standard deviation:

real sum = 0;
int count = 0;
real S = 0;
real variance = 0;

real GetRunningStandardDeviation(ref sum, ref count, ref S, x)
{
   real oldMean;

   if (count >= 1)
   {
       real oldMean = sum / count;
       sum = sum + x;
       count = count + 1;
       real newMean = sum / count;

       S = S + (x-oldMean)*(x-newMean)
   }
   else
   {
       sum = x;
       count = 1;
       S = 0;         
   }

   //estimated Variance = (S / (k-1) )
   //estimated Standard Deviation = sqrt(variance)
   if (count > 1)
      return sqrt(S / (count-1) );
   else
      return 0;
}

Although in the article they don't maintain a separate running sum and count, but instead have the single mean. Since in thing i'm doing today i keep a count (for statistical purposes), it is more useful to calculate the means each time.

— Ian Boyd
источник

Given original $\bar x$ , $s$ , and $n$ , as well as the change of a given element $x_n$ to $x_n'$ , I believe your new standard deviation $s'$ will be the square root of

s^{2} + \frac{1}{n - 1} (2 n Δ \bar{x} (x_{n} - \bar{x}) + n (n - 1) (Δ \bar{x})^{2}),

$s^2 + \frac{1}{n-1}\left(2n\Delta \bar x(x_n-\bar x) +n(n-1)(\Delta \bar x)^2\right),$ where

Δ \bar{x} = {\bar{x}}^{'} - \bar{x}

$\Delta \bar x = \bar x' - \bar x$ , with

{\bar{x}}^{'}

$\bar x'$ denoting the new mean.

Maybe there is a snazzier way of writing it?

I checked this against a small test case and it seemed to work.

— Whistling in the Dark
источник

@john / whistling in the Dark: I liked your answer, it seems work properly in my small dataset. Is there any mathematical foundation/reference on it? Could you kindly help?

— Alok Chowdhury

The question was all @Whistling in the Dark, I just cleaned it up for the site. You should pose a new question referencing the question and answer here. And also you should upvote this answer if you feel that way.

— John