У меня есть два 2 часа данных GPS с частотой дискретизации 1 Гц (7200 измерений). Данные приведены в форме , где - погрешность измерения.$(X, X_\sigma, Y, Y_\sigma, Z, Z_\sigma)$$N_\sigma$

Когда я беру среднее из всех измерений (например, среднее значение Z за эти два часа), каково его стандартное отклонение? Конечно, я могу рассчитать стандартное отклонение от значений Z, но тогда я пренебрегаю тем, что существуют известные погрешности измерений ...

Редактировать: все данные с одной и той же станции, и все координаты пересматриваются каждую секунду. Из-за спутниковых группировок и т. Д. Каждое измерение имеет различную неопределенность. Цель моего анализа - найти смещение из-за внешнего события (т. Е. Землетрясения). Я хотел бы взять среднее значение для 7200 измерений (2 часа) до землетрясения и другое среднее значение для 2 часов после землетрясения, а затем рассчитать полученную разницу (например, по высоте). Чтобы указать стандартное отклонение этой разницы, мне нужно знать стандартное отклонение двух средних.

Я подозреваю, что предыдущие ответы на этот вопрос могут быть немного неправильными. Мне кажется, что оригинальный плакат действительно просят здесь можно было бы перефразировать, «учитывая ряд векторных измерений: с я = 1 , 2 , 3 , . . . , 7200 , и измерение ковариации : С я = ( X 2 σ , я 0 0 0

$$\vec{\theta}_{i} = \left( \begin{array}{c} X_{i} \\ Y_{i} \\ Z_{i} \end{array}\right)$$ $i=1, 2, 3,...,7200$как правильно рассчитать взвешенное по ковариации среднее для этой серии векторных измерений, а после этого как правильно рассчитать его стандартное отклонение? »Ответ на этот вопрос может быть встречается во многих учебниках, специализирующихся на статистике для физических наук. Одним из примеров, который мне особенно нравится, является Фредерик Джеймс,"Статистические методы в экспериментальной физике" $$C_{i} = \left( \begin{array}{ccc} X_{\sigma,i}^{2} & 0 & 0 \\ 0 & Y_{\sigma,i}^{2} & 0 \\ 0 & 0 & Z_{\sigma,i}^{2} \end{array} \right)$$ , 2-е издание, World Scientific, 2006, раздел 11.5.2, «Объединение независимых оценок», с. 323-324. Другой очень хороший, но более вводный текст, который описывает средневзвешенное вычисление для скалярных значений (в отличие от полных векторных величин, представленных выше), - это Филип Р. Бевингтон и Д. Кит Робинсон, «Сокращение данных и анализ ошибок». для физических наук » , 3-е издание, McGraw-Hill, 2003, раздел 4.1.x,« Взвешивание данных - неоднородные неопределенности ». Потому что вопрос плаката оказался по диагоналиковариационная матрица в этом случае (т. е. все недиагональные элементы равны нулю), задача фактически делится на три отдельные (т. е. X, Y, Z) скалярно-взвешенные средние задачи, поэтому анализ Бевингтона и Робинсона применяется одинаково хорошо здесь тоже.

В общем, отвечая на вопросы stackexchange.com, я обычно не считаю нужным переупаковывать длинные деривации, которые уже были представлены ранее в многочисленных учебниках - если вы хотите по-настоящему понять материал и понять, почему ответы выглядят как как они это делают, тогда вам действительно нужно просто пойти и прочитать объяснения, которые уже были опубликованы авторами учебника. Имея это в виду, я просто перейду прямо к повторению ответов, которые уже предоставили другие. По Фредерику Джеймсу, установив , средневзвешенное значение равно: → θ m e a n = ( N ∑ i = 1$N=7200$и ковариацию взвешенного среднего значения является:Смесп=( N Σ я=1C - 1 я )-1 Этот ответ носит общий характер и будет действительным независимо от формыCiдаже для недиагональных ковариационных матриц измерения.

$$\vec{\theta}_{mean} = \left( \sum_{i=1}^{N} C_{i}^{-1} \right)^{-1} \left( \sum_{i=1}^{N} C_{i}^{-1} \vec{\theta_{i}} \right)$$ $$C_{mean} = \left( \sum_{i=1}^{N} C_{i}^{-1} \right)^{-1}$$ $C_{i}$

$X_{i}$$Y_{i}$$Z_{i}$

$$X_{mean} = \frac{\sum_{i=1}^{N} \frac{X_{i}}{X_{\sigma,i}^{2}}}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}$$ $$X_{\sigma,mean}^{2} = \frac{1}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}$$ $$X_{\sigma,mean} = \sqrt{\frac{1}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}}$$ $Y_{mean}, Y_{\sigma, mean}$$Z_{mean}, Z_{\sigma, mean}$

Это должно быть легко решено с помощью байесовского вывода. Вы знаете свойства измерения отдельных точек относительно их истинного значения и хотите вывести среднее значение по совокупности и SD, которые сгенерировали истинные значения. Это иерархическая модель.

Перефразируя проблему (основы Байеса)

Обратите внимание, что в то время как ортодоксальная статистика дает вам одно среднее значение, в байесовской системе вы получаете распределение достоверных значений среднего. Например, наблюдения (1, 2, 3) с SD (2, 2, 3) могли быть получены с помощью оценки максимального правдоподобия, равной 2, но также с помощью среднего значения 2,1 или 1,8, хотя и несколько менее вероятно (учитывая данные), чем MLE. Таким образом, в дополнение к SD, мы также выводим среднее значение .

Другое концептуальное отличие состоит в том, что вы должны определить состояние своего знания, прежде чем делать наблюдения. Мы называем это приоры . Вы можете заранее знать, что определенная область была отсканирована и находится в определенном диапазоне высот. Полное отсутствие знаний будет иметь одинаковые (-90, 90) градусы, как предшествующее в X и Y и, возможно, одинаковые (0, 10000) метров по высоте (над океаном, ниже самой высокой точки на земле). Вы должны определить распределения априоров для всех параметров, которые вы хотите оценить, т.е. получить апостериорные распределения для. Это верно и для стандартного отклонения.

Итак, перефразируя вашу проблему, я предполагаю, что вы хотите вывести достоверные значения для трех средних (X.mean, Y.mean, X.mean) и трех стандартных отклонений (X.sd, Y.sd, X.sd), которые могут иметь сгенерировал ваши данные.

Модель

Используя стандартный синтаксис BUGS (используйте WinBUGS, OpenBUGS, JAGS, stan или другие пакеты для запуска этого), ваша модель будет выглядеть примерно так:

  model {
    # Set priors on population parameters
    X.mean ~ dunif(-90, 90)
    Y.mean ~ dunif(-90, 90)
    Z.mean ~ dunif(0, 10000)
    X.sd ~ dunif(0, 10)  # use something with better properties, i.e. Jeffreys prior.
    Y.sd ~ dunif(0, 10)
    Z.sd ~ dunif(0, 100)

    # Loop through data (or: set up plates)
    # assuming observed(x, sd(x), y, sd(y) z, sd(z)) = d[i, 1:6]
    for(i in 1:n.obs) {
      # The true value was generated from population parameters
      X[i] ~ dnorm(X.mean, X.sd^-2)  #^-2 converts from SD to precision
      Y[i] ~ dnorm(Y.mean, Y.sd^-2)
      Z[i] ~ dnorm(Z.mean, Z.sd^-2)

      # The observation was generated from the true value and a known measurement error
      d[i, 1] ~ dnorm(X[i], d[i, 2]^-2)  #^-2 converts from SD to precision
      d[i, 3] ~ dnorm(Y[i], d[i, 4]^-2)
      d[i, 5] ~ dnorm(Z[i], d[i, 6]^-2)
    }
  }

Естественно, вы отслеживаете параметры .mean и .sd и используете их постеры для вывода.

моделирование

Я смоделировал некоторые данные как это:

# Simulate 500 data points
x = rnorm(500, -10, 5)  # mean -10, sd 5
y = rnorm(500, 20, 5)  # mean 20, sd 4
z = rnorm(500, 2000, 10)  # mean 2000, sd 10
d = cbind(x, 0.1, y, 0.1, z, 3)  # added constant measurement errors of 0.1 deg, 0.1 deg and 3 meters
n.obs = dim(d)[1]

Затем запустили модель, используя JAGS для 2000 итераций после 500 итераций. Вот результат для X.sd.

Синий диапазон указывает на 95% наибольшую заднюю плотность или доверительный интервал (где вы полагаете, что параметр находится после наблюдения данных. Обратите внимание, что ортодоксальный доверительный интервал не дает вам этого).

Красная вертикальная линия - это оценка MLE необработанных данных. Обычно это тот случай, когда наиболее вероятный параметр в байесовской оценке также является наиболее вероятным (с максимальной вероятностью) параметром в ортодоксальной статистике. Но вы не должны заботиться о верхней части задней части. Среднее значение или медиана лучше, если вы хотите свести его к одному числу.

Обратите внимание, что MLE / top не на 5, потому что данные были сгенерированы случайным образом, а не из-за неправильной статистики.

Limitiations

Это простая модель, которая в настоящее время имеет несколько недостатков.

1. Это не обрабатывает идентичность -90 и 90 градусов. Это может быть сделано, однако, путем создания некоторой промежуточной переменной, которая сдвигает экстремальные значения оценочных параметров в диапазон (-90, 90).
2. X, Y и Z в настоящее время моделируются как независимые, хотя они, вероятно, коррелируют, и это следует учитывать для получения максимальной отдачи от данных. Это зависит от того, перемещалось ли измерительное устройство (последовательная корреляция и совместное распределение X, Y и Z даст вам много информации) или стоя на месте (независимость в порядке). Я могу расширить ответ, чтобы подойти к этому, если потребуется.

Я должен упомянуть, что есть много литературы по пространственным байесовским моделям, о которых я не осведомлен.

Сначала я ввожу некоторые обозначения и решаю проблему, используя упомянутый вами простой подход. Тогда иди дальше. я использую$\mathbf{z}$ сослаться на вектор Z вы дали.

Рассмотрим следующую модель, в которой отсутствует явная ошибка измерения: $\bar{Z} = \frac{\sum_{i=1}^n\mu_{Z} + \epsilon_i}{n}$, где $\bar{Z}$ это приблизительное среднее значение $\mathbf{z}$, и $\mu_Z$ является истинным средним значением Z. Здесь $\mathbf{\epsilon}$ является вектором ошибок в ваших данных, и вы ожидаете, что если ваша выборка велика $\bar{Z}$ будет сходиться к $\mu_Z$, Если вы просто возьмете наблюдаемое$Z$ значения и усреднить их, вы получите $\bar{Z}$ и если вы вычисляете стандартное отклонение образца, вы получите $\hat{\sigma}$, оценка истинного населения стандартного отклонения $\sigma$, Что если вы хотели бы использовать некоторые знания об ошибке измерения?

Во-первых, обратите внимание, что мы можем переформулировать исходную модель следующим образом: $\mathbf{z} = \mathbf{1}\beta + \epsilon$, где $\mathbf{1}$ является вектором единиц, и $\beta$ будет в конечном итоге $\bar{Z}$, Теперь это действительно похоже на регрессию, но мы все еще в основном просто получаем оценку$\mu_Z$, Если мы выполним регрессию, как это, мы также получим оценку для стандартной ошибки$\epsilon$, что почти то, что мы хотим - это не что иное, как стандартная ошибка $\mathbf{z}$ (но мы все еще хотим учесть ошибку измерения).

Мы можем дополнить нашу начальную модель, чтобы получить модель смешанных эффектов. $\mathbf{z} = \mathbf{1}\beta + \mathbf{Q}u +\epsilon$, где $u$ вектор случайных эффектов, и $\mathbf{Q}$ это регрессор, относящийся $\mathbf{z}$ в $u$, Как и в случае любого случайного эффекта, вам необходимо сделать предположение о распределении$u$, Это правильно, что$Z_\sigma$ распределение ошибки измерения для $\mathbf{z}$? Если да, это можно использовать для обеспечения распределения случайных эффектов. Как правило, программное обеспечение для выполнения базового моделирования смешанных эффектов предполагает, что случайные эффекты имеют нормальное распределение (со средним значением 0 ...), и оценивает дисперсию для вас. Возможно, вы можете попробовать это, чтобы проверить концепцию. Если вы хотите использовать свою предыдущую информацию о распределении погрешности измерения, вам нужна байесовская модель смешанных эффектов. Вы можете использовать R2OpenBUGS.

После оценки этой модели стандартная ошибка, которую вы получите для остатков $\epsilon$это стандартная ошибка, к которой вы проявляете интерес. Интуитивно, компонент случайных эффектов модели поглощает некоторые вариации, которые вы можете объяснить, потому что знаете, что есть ошибка измерения. Это позволяет получить более релевантную оценку изменения$\epsilon$

См. Эту статью для более глубокого обсуждения этого подхода случайных эффектов для учета погрешности измерения. Ваша ситуация похожа на ту, которую авторы вводят для$\mathbf{D}$ и его ошибка измерения искажена версия $\mathbf{W}$, Пример в Разделе 4 может дать некоторое представление о вашей ситуации.

Как упомянул whuber, вы можете захотеть учесть автокорреляцию в ваших данных. Использование случайных эффектов не решит эту проблему.