В чем разница между детерминированной и стохастической моделью?

Простая линейная модель:

$x=\alpha t + \epsilon_t$ где ~ iid $\epsilon_t$ $N(0,\sigma^2)$

с и $E(x) = \alpha t$ $Var(x)=\sigma^2$

АР (1):

$X_t =\alpha X_{t-1} + \epsilon_t$ где ~ iid $\epsilon_t$ $N(0,\sigma^2)$

с и $E(x) = \alpha t$ $Var(x)=t\sigma^2$

Таким образом, простая линейная модель рассматривается как детерминированная модель, а модель AR (1) рассматривается как стохастическая модель.

Согласно видео на Youtube от Бена Ламберта - Детерминированный против Стохастика , причина того, что AR (1) можно назвать стохастической моделью, заключается в том, что ее дисперсия увеличивается со временем. Так является ли признак непостоянной дисперсии критерием для определения стохастического или детерминированного?

Я также не думаю, что простая линейная модель является полностью детерминированной, поскольку у нас есть термин связанный с моделью. Следовательно, у нас всегда есть случайность по . Итак, в какой степени мы можем сказать, что модель является детерминированной или стохастической? $\epsilon_t$ $x$

— Кен Т
источник

Любая модель с ошибочным термином является стохастической. Это не имеет ничего общего с дисперсией, которая должна меняться со временем.

— Майкл Р. Черник

@MichaelChernick Я не понимаю. Тогда почему люди говорят, что простая линейная регрессия является детерминированной моделью?

— Кен Т

Не могли бы вы предоставить ссылку, чтобы показать, где это сказано и почему это сказано?

— Майкл Р. Черник

Это было из моих курсовых заметок анализа временных рядов несколько лет назад. Может быть, это неправильно.

— Кен Т

Ответы:

Видео рассказывает о детерминированных и стохастических тенденциях , а не о моделях . Основной момент очень важен. Обе ваши модели являются стохастическими, однако в модели 1 эта тенденция является детерминированной.

Модель 2 не имеет тенденции. Текст вашего вопроса неверен.

Модель 2 в вашем вопросе - AR (1) без константы, в то время как в видео модель представляет собой случайное блуждание (броуновское движение): Эта модель действительно имеет стохастический тренд , Это стохастический потому , что только в среднем. Каждая реализация броуновского движения будет отклоняться от из-за случайного члена , который легко увидеть по разности:

{Икс}_{T} знак равно α + {Икс}_{T - 1} + е_{T}

$x_t=\alpha+x_{t-1}+e_t$

α t

$\alpha t$

α t

$\alpha t$

e_{t}

$e_t$

Δ {Икс}_{T} знак равно {Икс}_{T} - {Икс}_{T - 1} знак равно α + е_{T}

$\Delta x_t=x_t-x_{t-1}=\alpha+e_t$

{Икс}_{T} знак равно {Икс}_{0} + Σ_{T знак равно 1}^{T} Δ {Икс}_{T} знак равно {Икс}_{0} + α T + Σ_{T знак равно 1}^{T} е_{T}

$x_t=x_0+\sum_{t=1}^t\Delta x_t=x_0+\alpha t +\sum_{t=1}^t e_t$

— Аксакал
источник

+1. Но чтобы быть совершенно ясными и точными, вы можете указать, что отклонение от

связано со случайным слагаемым

, а не только с

α t

$\alpha t$

e_{1} + e_{2} + \dots + e_{t}

$e_1+e_2+\dots +e_t$

e_{t}

$e_t$

— whuber

Как упоминал Аксакал в своем ответе, видео, на которое ссылается Кен Т, описывает свойства трендов , а не моделей напрямую, предположительно, как часть обучения по смежной теме стационарности трендов и различий в эконометрике. Так как в вашем вопросе вы спрашивали о моделях, то вот в контексте моделей :

Модель или процесс являются стохастическими, если они имеют случайность. Например, если даны одни и те же входные данные (независимые переменные, веса / параметры, гиперпараметры и т. Д.), Модель может давать разные выходные данные. В детерминированных моделях выходные данные полностью определяются входными данными модели (независимыми переменными, весами / параметрами, гиперпараметрами и т. Д.), Так что при одинаковых входных данных модели выходные данные идентичны. Происхождение термина "стохастик" происходит от случайных процессов . Как общее практическое правило, если модель имеет случайную величину, она является стохастической. Стохастические модели могут быть даже простыми независимыми случайными величинами.

Давайте распакуем еще несколько терминов, которые помогут вам понять литературу о статистических моделях (детерминистических, стохастических или других ...):

$AR(1)$ $t-1$ $\mu_{\epsilon_t}=0$ ) и т. д. Мы делаем эти предположения, чтобы сделать линейную модель полезной для оценки зависимой (ых) переменной (ей) путем минимизации некоторой нормы этого члена ошибки. Эти предположения позволяют нам получить полезные свойства оценок и доказать, что определенные оценки являются лучшими в соответствии с этими предположениями; например, что оценщик OLS является СИНИМ .

Более простым примером стохастической модели является подбрасывание справедливой монеты (головы или хвоста), которая может быть стохастически смоделирована как равномерно распределенная двоичная случайная переменная или как процесс Бернулли . Вы также можете рассматривать бросок монеты как физическую систему и придумать детерминированную модель (в идеализированной обстановке), если принять во внимание форму монеты, угол и силу удара, расстояние до поверхности и т. Д. Если последняя (физическая) модель броска монеты не содержит случайных переменных (например, она не учитывает погрешность измерения любого из входов в модель), тогда она является детерминированной.

$X_t$ $AR(1)$ $\epsilon_t$ $y_t = ax_t+\epsilon_t$ $t$ $Var[X_t]$ $t$ $Var[X_t]$

Кроме того, иногда возникает путаница между стационарными случайными процессами и нестационарными случайными процессами. Стационарность подразумевает, что статистика, такая как среднее значение или дисперсия, не изменяется со временем в модели. Оба они все еще считаются стохастическими моделями / процессами, пока в них присутствует случайность. Как упоминает коллега Марон Мэтью Ганн, в своем ответе разложение Вольда утверждает, что любой стационарный случайный процесс может быть записан как сумма детерминированного и случайного процессов.

— я делаю
источник

Отличный ответ! Вопрос: почему вы пишете «… если его дисперсия изменяется по некоторому параметру…», не должно ли это быть изменением по некоторой переменной (или функции переменной)?

— Алексис

@ Алексис Я имел в виду время как параметр модели. Вы правы, этот язык неточен. Исправлена. Спасибо. :-)

— идо

Как изменяется дисперсия AR (1)?

— Аксакал

V a r [ε_{t}]

$Var[\varepsilon_t]$

σ^{2}

$\sigma^2$

V a r [X_{t}] = t σ^{2}

$Var[X_t] = t\sigma^2$

X_{t} = α + X_{t - 1} + ε_{t}

$X_t = \alpha + X_{t-1} + \varepsilon_t$

ε_{t} \sim N (0, σ^{2})

$\varepsilon_t \sim N(0, \sigma^2)$

A R (1)

$AR(1)$ относится к модели , описанной как таковой Кен Т.)

— Идо

V a r [X_{t}] = V a r [X_{t - 1}] + V a r [ε_{t}] = \sum_{i = 1}^{t} V a r [ε_{i}] = t σ^{2}

$Var[X_t] = Var[X_{t-1}] + Var[\varepsilon_t] = \sum_{i=1}^{t} Var[\varepsilon_i] = t\sigma^2$

V a r [ε_{i}] = σ^{2}

$Var[\varepsilon_i] = \sigma^2$

ε_{t}

$\varepsilon_t$

ε_{t}

$\varepsilon_t$

C o v [X_{t}, X_{t - 1}] = 0

$Cov[X_t, X_{t-1}] = 0$

Некоторые неформальные определения

- $y(t) = 2t$
- $y(t) = e^t$
$\{Y_t\}$ $\Omega$ $Y(t,\omega)$ $t$ $\omega$ $\Omega$
- $y_t = \epsilon_t$ $\epsilon_t \sim \mathcal{N}(0, 1)$
- $y_t = .7 y_{t-1} + \epsilon_t$
$\omega$ $\Omega$ $\omega \in \Omega$ $Y_t(\omega)$

Некоторые комментарии ...

... причина того, что AR (1) можно назвать стохастической моделью, заключается в том, что ее дисперсия увеличивается со временем.

$t$

$\epsilon_t$

$x_t$ $x_t = \alpha t + \epsilon_t$ $\{\epsilon_t\}$ $\{x_t\}$

$y_t = \alpha t$ $\{x_t\}$ $\alpha t$ $\epsilon_t$

Это приводит к теореме Вольда о том, что любой ковариационный стационарный процесс может быть однозначно разложен на детерминированный компонент и стохастический компонент.

— Мэтью Ганн
источник