Полностью ли автокорреляционная функция описывает случайный процесс?

Что подразумевается под полным описанием случайного процесса? Ну, математически стохастический процесс - это набор $\{X(t) : t \in {\mathbb T}\}$ случайных величин, по одной на каждый момент времени $t$ в наборе индексов $\mathbb T$ , где обычно $\mathbb T$ - вся действительная или положительная вещественная линия, а полное описание означает, что для каждого целого числа $n \geq 1$ и $n$ моментов времени $t_1, t_2, \ldots, t_n \in \mathbb T$ мы знаем (совместные) распределения $n$ случайных величин $X(t_1)$ , $X(t_2)$ , $\ldots, X(t_n)$ . Этоогромноеколичество информации: нам нужно знать CDF $X(t)$ для каждого момента времени $t$ , (двумерный) объединенный CDF $X(t_1)$ и $X(t_2)$ для всех вариантов времени моменты $t_1$ и $t_2$ , (трехмерные) CDF $X(t_1)$ , $X(t_2)$ и $X(t_3)$ и т. д. и т. д. и т. д.

Поэтому, естественно, люди искали более простые описания и более ограничительные модели. Одно упрощение происходит, когда процесс инвариантен к изменению источника времени. Это значит, что

Все случайные величины в процессе имеют идентичные CDF: $F_{X(t_1)}(x) = F_{X(t_2)}(x)$ для всех $t_1, t_2$ .
Любые две случайные величины, разделенные определенным количеством времени, имеют тот же объединенный CDF, что и любая другая пара случайных переменных, разделенных тем же количеством времени. Например, случайные величины $X(t_1)$ и $X(t_1 + \tau)$ разделяются на $\tau$ секунды, как и случайные величины $X(t_2)$ и $X(t_2 + \tau)$ , и, таким образом, $F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
Любые три случайные величины $X(t_1)$ , $X(t_1 + \tau_1)$ , $X(t_1 + \tau_1 + \tau_2)$ разнесены $\tau_1$ и $\tau_2$ друг от друга имеют одинаковый совместный CDF как $X(t_2)$ , $X(t_2 + \tau_1)$ , $X(t_2 + \tau_1 + \tau_2)$ , которыйкак ирасстоянии $\tau_1$ и $\tau_2$ другдруга,
и так далее для всех многомерных CDF. См., Например, ответ Питера К. для получения подробной информации о многомерном случае.

По сути, вероятностные описания случайного процесса не зависят от того, что мы решили назвать началом координат на оси времени: сдвигать все моменты времени $t_1, t_2, \ldots, t_n$ на некоторое фиксированное значение $\tau$ на $t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$ дает такое же вероятностное описание случайных величин. Это свойство называется стационарностью в строгом смысле и случайный процесс, который обладает этим свойством, называется строго стационарным случайным процессом или, проще говоря, стационарным случайным процессом.

Обратите внимание, что строгая стационарность сама по себе не требует какой-либо конкретной формы CDF. Например, это не говорит о том, что все переменные являются гауссовыми.

Прилагательное строго предполагает, что можно определить более свободную форму стационарности. Если CDF $N^{\text{th}}$ порядка $X(t_1), X(t_2), \ldots, X(t_N)$ такой же, как CDF $N^{\text{th}}$ порядка $X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$ для всех вариантов выбора $t_1,t_2, \ldots, t_N$ и $\tau$ , тогда случайный процесс называется стационарным для порядка $N$ и называетсястационарным случайным процессом $N^{\text{th}}$ порядка. Отметим, что стационарный случайный процесс $N^{\text{th}}$ порядка также является стационарным для порядка $n$ для каждого положительного $n < N$ . (Это потому, чтоCDF $n^{\text{th}}$ порядка является пределомCDF $N^{\text{th}}$ порядка как $N-n$ $\infty$ $F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$ $N$

Если случайный процесс является стационарным для (по крайней мере) порядка , то все имеют одинаковое распределение и, следовательно, предполагая, что среднее существует, одинаково для всех . Точно так же одинаково для всех и называется мощностью процесса. Все физические процессы имеют конечную мощность, и поэтому принято считать, что в этом случае, особенно в более ранней технической литературе, этот процесс называется процессом второго порядка . Выбор имени неудачен, потому что он вызывает путаницу со вторым порядком $1$ $X(t)$ $E[X(t)] = \mu$ $t$ $E[(X(t))^2]$ $t$ $E[(X(t))^2] < \infty$ стационарность (см. мой ответ на stats.SE ), и поэтому здесь мы будем называть процесс, для которого является конечным для всех (независимо от того, является ли является константой) как процесс с конечными степенями и избежать этой путаницы. Но еще раз отметим, что $E[(X(t))^2]$ $t$ $E[(X(t))^2]$

стационарный процесс первого порядка не обязательно должен быть процессом с конечной степенью мощности.

Рассмотрим случайный процесс, который является стационарным для порядка . Теперь, поскольку совместное распределение и совпадает с совместной функцией распределения и , и значение зависит только от . Эти ожидания являются конечными для процесса с конечной степенью мощности, и их значение называется автокорреляционной функцией процесса: является функцией , времени разделение случайных величин и и не зависит от $2$ $X(t_1)$ $X(t_1 + \tau)$ $X(t_2)$ $X(t_2 + \tau)$ $E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$ $\tau$ $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$ вообще. Отметим также, что поэтому функция автокорреляции является четной функцией своего аргумента.

E [X (t) X (t + τ)] = E [X (t + τ) X (t)] = E [X (t + τ) X (t + τ - τ)] = R_{X} (- τ),

$E[X(t)X(t+\tau)] = E[X(t+\tau)X(t)] = E[X(t+\tau)X(t + \tau - \tau)] = R_X(-\tau),$

Стационарный случайный процесс второго порядка с конечной степенью мощности обладает

Его среднее значение является константой $E[X(t)]$

Его автокорреляционная функция является функцией , разделения по времени случайных величин и , и делает не зависит от вообще. $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$

Предположение о стационарности в некоторой степени упрощает описание случайного процесса, но для инженеров и статистиков, заинтересованных в построении моделей на основе экспериментальных данных, оценка всех этих CDF является нетривиальной задачей, особенно когда имеется только один отрезок пути выборки (или реализация) на котором могут быть сделаны измерения. Два измерения, которые относительно легко выполнить (поскольку у инженера уже есть необходимые инструменты на его рабочем месте (или программы на MATLAB / Python / Octave / C ++ в его библиотеке программного обеспечения), представляют собой значение DC для и автокорреляционная функция $x(t)$ $\frac 1T\int_0^T x(t)\,\mathrm dt$ $x(t)$ $R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$ (или его преобразование Фурье, спектр мощности ). Принятие этих измерений в качестве оценок среднего значения и автокорреляционной функции процесса с конечной степенью приводит к очень полезной модели, которую мы обсудим далее. $x(t)$

Случайный процесс с конечной степенью мощности называется стационарным процессом с широким смыслом (WSS) (также слабо стационарный случайный процесс, который, к счастью, также имеет тот же WSS инициализации), если он имеет постоянное среднее значение и его автокорреляционная функция зависит только от разницы во времени (или ). $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1 - t_2$ $t_2 - t_1$

Обратите внимание, что определение ничего не говорит о CDF случайных величин, составляющих процесс; это полностью ограничение на моменты первого и второго порядка случайных величин. Конечно, стационарный случайный процесс второго порядка (или порядка (для ) или строго стационарный) с конечной степенью мощности является процессом WSS, но обратное утверждение не обязательно должно быть верным. $N^{\text{th}}$ $N>2$

Процесс WSS не обязательно должен быть стационарным для какого-либо заказа.

Рассмотрим, например, случайный процесс где принимает четыре одинаково вероятных значения и . (Не пугайтесь: четыре возможных пути выборки этого случайного процесса - это только четыре формы сигнала QPSK). Обратите внимание, что каждый является дискретной случайной величиной, которая, как правило, принимает четыре одинаково вероятных значения и Легко видеть, что в общем случае и $\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$ $\Theta$ $0, \pi/2, \pi$ $3\pi/2$ $X(t)$ $\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$ $\cos(t+3\pi/2)=\sin(t)$ $X(t)$ $X(s)$ имеют разные распределения, и поэтому процесс даже не является стационарным первого порядка. С другой стороны, для каждого пока Короче говоря, процесс имеет нулевое среднее значение, и его автокорреляционная функция зависит только от разницы во времени , поэтому процесс является в широком смысле стационарным. Но он не является стационарным первого порядка и поэтому не может быть стационарным для более высоких порядков.

E [X (t)] = \frac{1}{4} \cos (t) + \frac{1}{4} (- \sin (t)) + \frac{1}{4} (- \cos (t)) + \frac{1}{4} \sin (t) = 0

$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$

t

$t$

\begin{aligned} E [X (t) X (s)] & = \frac{1}{4} [\cos (t) \cos (s) + (- \cos (t)) (- \cos (s)) + \sin (t) \sin (s) + (- \sin (t)) (- \sin (s))] \\ = \frac{1}{2} [\cos (t) \cos (s) + \sin (t) \sin (s)] \\ = \frac{1}{2} \cos (t - s) . \end{aligned}

$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$

t - s

$t-s$

Даже для процессов WSS, которые являются стационарными (или строго стационарными) случайными процессами второго порядка, мало что можно сказать о конкретных формах распределений случайных величин. Короче,

Процесс WSS не обязательно является стационарным (в любом порядке), и среднего значения и автокорреляционной функции процесса WSS недостаточно для полного статистического описания процесса.

Наконец, предположим , что стохастический процесс предполагается быть гауссовым процессом ( «доказать» это с достаточной степенью уверенности не является тривиальной задачей). Это означает , что для каждого , является гауссовой случайной переменной и для всех положительных целых чисел и выбор моментов времени , , , то случайные величины , , - совместно гауссовские случайные величины. Теперь совместная гауссова функция плотности полностью $t$ $X(t)$ $n \geq 2$ $n$ $t_1$ $t_2$ $\ldots, t_n$ $N$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ определяется по средним, дисперсиям и ковариациям случайных величин, и в этом случае, зная функцию среднего (она не должна быть константой, как это требуется для широкого смысла) -стационарность) и автокорреляционная функция для всех (она не должна зависеть только от что требуется для стационарной стационарности) достаточно, чтобы полностью определить статистику процесса. $\mu_X(t) = E[X(t)]$ $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1, t_2$ $t_1-t_2$

Если гауссовский процесс является процессом WSS, то он также является строго стационарным гауссовским процессом. К счастью для инженеров и процессоров обработки сигналов, многие физические шумовые процессы могут быть хорошо смоделированы как гауссовские процессы WSS (и, следовательно, строго стационарные процессы), так что экспериментальное наблюдение автокорреляционной функции легко обеспечивает все совместные распределения. Кроме того, поскольку гауссовские процессы сохраняют свой гауссовский характер при прохождении через линейные системы, а выходная автокорреляционная функция связана с входной автокорреляционной функцией как

R_{y} = h * \tilde{h} * R_{X}

$R_y = h*\tilde{h}*R_X$ так что можно легко определить выходную статистику, процессы WSS в целом и процессы WSS Гаусса в частности имеют большое значение в инженерных приложениях.

— Дилип Сарватэ
источник

Не могли бы вы прокомментировать «Белый шум» в этом смысле? По определению автокорреляция при является дисперсией случайных величин. Означает ли это, что AWGN (аддитивный белый гауссов шум) имеет бесконечную дисперсию? Я спрашиваю это, потому что обычно люди пишут , не так? Должно ли это быть написано ? Спасибо.

τ = 0

$\tau = 0$

n (t) N (0, N_{0} / 2)

$n(t) ~ N(0, {N}_{0} / 2)$

n (t) N (0, δ (0) N_{0} / 2)

$n(t) ~ N(0, \delta(0) {N}_{0} / 2)$

— Рой

@Drazick Пожалуйста, задайте отдельный вопрос.

— Дилип Сарвате

Это фантастический мини-курс по определению стационарных процессов. Я никогда не видел ничего подобного - изложенного так методично и четко. Сообщество вики?

— августа

@Dilip Sarwate Простите за мое невежество. В примере. Почему E [X (t)] = 0 для всех t? Вы предполагали эргодичность? Как вы вывели функцию плотности вероятности X (t) из функции плотности вероятности тета для вычисления ожидаемого значения? E [X (t) X (s)] = E [cos (t + тета) * cos (s + тета)] верно? Какие шаги вы предприняли, чтобы упростить это выражение и получить то, что написали? Спасибо

— VMMF

@VMMF НЕ используется эргодичность. является дискретной случайной величиной, поскольку является дискретной случайной величиной и принимает значения и с равной вероятностью . Ergo, . принимает значения , , и с равной вероятностью . Следовательно,

X (t) = \cos (t + Θ)

$X(t)=\cos(t+\Theta)$

Θ

$\Theta$

\pm \cos (t)

$\pm\cos(t)$

\pm \sin (t)

$\pm\sin(t)$

\frac{1}{4}

$\frac 14$

E [X (t)] = 0

$E[X(t)]=0$

X (t) X (s)

$X(t)X(s)$

\cos (t) \cos (s)

$\cos(t)\cos(s)$

(- \cos (t)) (- \cos (s)) = \cos (t) \cos (s)

$(-\cos(t))(-\cos(s))=\cos(t)\cos(s)$

\sin (t) \sin (s)

$\sin(t)\sin(s)$

(- \sin (t)) (- \sin (s)) = \sin (t) \sin (s)

$(-\sin(t))(-\sin(s))=\sin(t)\sin(s)$

\frac{1}{4}

$\frac 14$

E [X (t) (X (s)] = \frac{1}{2} (\cos (t) \cos (s) + \sin (t) \sin (s)) = \frac{1}{2} \cos (t - s)

$E[X(t)(X(s)]=\frac 12\big(\cos(t)\cos(s)+\sin(t)\sin(s)\big) = \frac 12\cos(t-s)$ . Следовательно,

— Дилип Сарват