MLE требует данных iid? Или просто независимые параметры?

Оценка параметров с использованием оценки максимального правдоподобия (MLE) включает в себя оценку функции правдоподобия, которая отображает вероятность появления выборки (X) в значения (x) в пространстве параметров (θ) при заданном семействе распределения (P (X = x | θ). ) по возможным значениям θ (примечание: я прав в этом?). Все примеры, которые я видел, включают вычисление P (X = x | θ) путем взятия произведения F (X), где F - это распределение с локальным значение для θ и X является выборкой (вектором).

Поскольку мы просто умножаем данные, значит ли это, что данные будут независимыми? Например, не могли бы мы использовать MLE для подгонки данных временных рядов? Или параметры просто должны быть независимыми?

Функция правдоподобия , определенные как вероятность события (набор данных х ) как функция от параметров модели $E$${\bf x}$$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

Поэтому нет предположения о независимости наблюдений. В классическом подходе нет определения независимости параметров, поскольку они не являются случайными величинами; некоторые связанные понятия могут быть идентифицируемостью , ортогональностью параметров и независимостью оценок максимального правдоподобия (которые являются случайными величинами).

Несколько примеров,

(1). Дискретный случай . является образец (независимый) дискретных наблюдений с P ( наблюдения  х J ; & thetas ; ) > 0 , то${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

В частности, если , с известным N , имеем$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2). Непрерывное приближение . Пусть быть образцом из непрерывного случайной величины X , с распределением F и плотностью F , с измерением ошибки е , это, вы наблюдаете множество ( х J - ε , х J + ϵ ) . потом${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

При мало, это может быть аппроксимировано ( с использованием среднего значения теоремы) путем$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

Для примера с нормальным случаем взгляните на это .

(3). Зависимая и марковская модель . Предположим , что представляет собой набор наблюдений , возможно , зависимых и пусть F быть совместной плотности х , то${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

Если дополнительно выполнено свойство Маркова , то

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

Take also a look at this.

(+1) Very good question.

Minor thing, MLE stands for maximum likelihood estimate (not multiple), which means that you just maximize the likelihood. This does not specify that the likelihood has to be produced by IID sampling.

If the dependence of the sampling can be written in the statistical model, you just write the likelihood accordingly and maximize it as usual.

The one case worth mentioning when you do not assume dependence is that of the multivariate Gaussian sampling (in time series analysis for example). The dependence between two Gaussian variables can be modelled by their covariance term, which you incoroporate in the likelihood.

To give a simplistic example, assume that you draw a sample of size $2$ from correlated Gaussian variables with same mean and variance. You would write the likelihood as

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

where $z$ is

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

This is not the product of the individual likelihoods. Still, you would maximize this with parameters $(\mu, \sigma, \rho)$ to get their MLE.

Of course, Gaussian ARMA models possess a likelihood, as their covariance function can be derived explicitly. This is basically an extension of gui11ame's answer to more than 2 observations. Minimal googling produces papers like this one where the likelihood is given in the general form.

Another, to an extent, more intriguing, class of examples is given by multilevel random effect models. If you have data of the form

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ where indices $j$ are nested in $i$ (think of students $j$ in classrooms $i$, say, for a classic application of multilevel models), then, assuming $\epsilon_{ij} \perp u_i$, the likelihood is $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response $y_{ij}$, then there is no way out of numerical integration.)