Эмпирическая альтернатива распределения

BOUNTY:

Полная награда будет присуждена кому-либо, кто предоставит ссылку на любой опубликованный документ, который использует или упоминает оценку $\tilde{F}$ ниже.

Мотивация:

Этот раздел, вероятно, не важен для вас, и я подозреваю, что он не поможет вам получить награду, но, поскольку кто-то спросил о мотивации, вот над чем я работаю.

Я работаю над статистической проблемой теории графов. Стандартный ограничивающий объект плотного графа $W : [0,1]^2 \to [0,1]$ является симметричной функцией в том смысле, что $W(u,v) = W(v,u)$ . Выборка графика по $n$ вершинам может рассматриваться как выборка $n$ равномерных значений на единичном интервале ( $U_i$ для $i = 1, \dots, n$) и тогда вероятность ребра $(i,j)$ равна $W(U_i, U_j)$ . Пусть результирующая матрица смежности называться .$A$

$W$∬ W > 0 f A f f $f = W / \iint W$$\iint W > 0$$f$$A$$f$$f$$f$$\sum A$$W$

К сожалению, метод, который я нашел, показывает последовательность, когда мы выбираем из распределения с плотностью . Путь построен требует , чтобы я образец сетки точек (в отличие от взятия черпает из оригинального ). В этом вопросе stats.SE я задаю одномерную (более простую) проблему того, что происходит, когда мы можем только сэмплировать выборку Бернулли на сетке, подобной этой, а не фактически сэмплировать непосредственно из распределения.A $f$$A$$f$

ссылки на пределы графа:

Л. Ловаш и Б. Сегеды. Пределы плотных графовых последовательностей ( arxiv ).

C. Borgs, J. Chayes, L. Lovasz, V. Sos и K. Vesztergombi. Сходящиеся последовательности плотных графов i: частоты подграфа, метрические свойства и тестирование. ( архив )

Обозначения:

Рассмотрим непрерывное распределение с cdf и pdf которое имеет положительную поддержку на отрезке . Предположим, что не имеет точечной массы, всюду дифференцируема, а также что является супремумом на отрезке . Пусть означает , что случайная величина выборка из распределения . - это идентичные случайные величины на .$F$$f$$[0,1]$$f$$F$$\sup_{z \in [0,1]} f(z) = c < \infty$$f$$[0,1]$$X \sim F$$X$$F$$U_i$$[0,1]$

Проблема настроена:

Часто мы можем позволить быть случайными переменными с распределением и работать с обычной эмпирической функцией распределения как где - функция индикатора. Обратите внимание, что это эмпирическое распределение само по себе случайное (где фиксировано).$X_1, \dots, X_n$$F$

$$\hat{F}_n(t) = \frac{1}{n} \sum_{i=1}^n I\{X_i \leq t\}$$ $I$$\hat{F}_n(t)$$t$

К сожалению, я не могу рисовать образцы непосредственно из . Однако я знаю, что имеет положительную поддержку только на , и я могу генерировать случайные величины где - случайная величина с распределением Бернулли с вероятностью успеха где и определены выше. Итак, . Один очевидный способ, которым я мог бы оценить по этим значениям это взять где$F$$f$$[0,1]$$Y_1, \dots, Y_n$$Y_i$

$$p_i = f((i-1+U_i)/n)/c$$ $c$$U_i$$Y_i \sim \text{Bern}(p_i)$$F$$Y_i$ $$\tilde{F}_n(t) = \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\lceil \cdot \rceil$ - это функция потолка (то есть, округление до ближайшего целого числа) и перерисовка, если (чтобы избежать деления на ноль и разрушения вселенной) , Обратите внимание, что также является случайной величиной, поскольку являются случайными величинами.$\sum_{i=1}^n Y_i = 0$$\tilde{F}(t)$$Y_i$

Вопросов:

От (как мне кажется, должно быть) проще всего до самого сложного.

1. Кто-нибудь знает, есть ли у этого (или что-то подобное) имя? Можете ли вы предоставить ссылку, где я могу увидеть некоторые из его свойств?$\tilde{F}_n$

2. Является ли как последовательной оценкой (и можете ли вы доказать это)?$n \to \infty$$\tilde{F}_n(t)$$F(t)$

3. Каково предельное распределение при ?$\tilde{F}_n(t)$$n \to \infty$

4. В идеале я хотел бы ограничить следующее как функцию от - например, , но я не знаю, какова истина. означает Big O по вероятности$n$$O_P(\log(n) /\sqrt{n})$$O_P$

$$\sup_{C \subset [0,1]} \int_C |\tilde{F}_n(t) - F(t)| \, dt$$

Некоторые идеи и заметки:

1. Это очень похоже на выборку с приемом-отклонением с использованием стратификации на основе сетки. Обратите внимание, что это не так, потому что там мы не рисуем другой образец, если мы отклоняем предложение.

2. Я почти уверен, что это предвзято. Я думаю, что альтернатива беспристрастна, но имеет неприятное свойство: .$\tilde{F}_n$

   $$\tilde{F^*}_n(t) = \frac{c}{n} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\mathbb{P}\left(\tilde{F^*}(1) = 1\right) < 1$

3. Я заинтересован в использовании в качестве оценщика плагинов . Я не думаю, что это полезная информация, но, возможно, вы знаете причину, по которой это может быть.$\tilde{F}_n$

Пример в R

Вот код R, если вы хотите сравнить эмпирическое распределение с . Извините, некоторые отступы неверны ... Я не вижу, как это исправить.$\tilde{F}_n$

# sample from a beta distribution with parameters a and b
a <- 4 # make this > 1 to get the mode right
b <- 1.1 # make this > 1 to get the mode right
qD <- function(x){qbeta(x, a, b)} # inverse
dD <- function(x){dbeta(x, a, b)} # density
pD <- function(x){pbeta(x, a, b)} # cdf
mD <- dbeta((a-1)/(a+b-2), a, b) # maximum value sup_z f(z)


# draw samples for the empirical distribution and \tilde{F}
draw <- function(n){ # n is the number of observations
  u <- sort(runif(n)) 
  x <- qD(u) # samples for empirical dist
  z <- 0 # keep track of how many y_i == 1
  # take bernoulli samples at the points s
  s <- seq(0,1-1/n,length=n) + runif(n,0,1/n) 
  p <- dD(s) # density at s
  while(z == 0){ # make sure we get at least one y_i == 1
    y <- rbinom(rep(1,n), 1, p/mD) # y_i that we sampled
    z <- sum(y)
  }
  result <- list(x=x, y=y, z=z)
  return(result)
}

sim <- function(simdat, n, w){
  # F hat -- empirical dist at w
  fh <- mean(simdat$x < w) 
  # F tilde
  ft <- sum(simdat$y[1:ceiling(n*w)])/simdat$z
  # Uncomment this if we want an unbiased estimate.
  # This can take on values > 1 which is undesirable for a cdf.
  ### ft <- sum(simdat$y[1:ceiling(n*w)]) * (mD / n)
  return(c(fh, ft))
}


set.seed(1) # for reproducibility

n <- 50 # number observations
w <- 0.5555 # some value to test this at (called t above)
reps <- 1000 # look at this many values of Fhat(w) and Ftilde(w)
# simulate this data
samps <- replicate(reps, sim(draw(n), n, w))

# compare the true value to the empirical means
pD(w) # the truth 
apply(samps, 1, mean) # sample mean of (Fhat(w), Ftilde(w))
apply(samps, 1, var)  # sample variance of (Fhat(w), Ftilde(w))
apply((samps - pD(w))^2, 1, mean) # variance around truth


# now lets look at what a single realization might look like
dat <- draw(n)
plot(NA, xlim=0:1, ylim=0:1, xlab="t", ylab="empirical cdf",
     main="comparing ECDF (red), Ftilde (blue), true CDF (black)")
s <- seq(0,1,length=1000)
lines(s, pD(s), lwd=3) # truth in black
abline(h=0:1)
lines(c(0,rep(dat$x,each=2),Inf),
     rep(seq(0,1,length=n+1),each=2),
     col="red")
lines(c(0,rep(which(dat$y==1)/n, each=2),1),
      rep(seq(0,1,length=dat$z+1),each=2),
      col="blue")

правок:

РЕДАКТИРОВАТЬ 1 -

Я отредактировал это, чтобы адресовать комментарии @ whuber.

РЕДАКТИРОВАТЬ 2 -

Я добавил код R и очистил его немного больше. Я немного изменил обозначения для удобства чтения, но по сути это то же самое. Я планирую назначить вознаграждение за это, как только мне позволят, поэтому, пожалуйста, дайте мне знать, если вы хотите получить дополнительные разъяснения.

РЕДАКТИРОВАТЬ 3 -

Я думаю, что обратился к замечаниям @ cardinal. Я исправил опечатки в общем варианте. Я добавляю награду.

РЕДАКТИРОВАТЬ 4 -

Добавлен раздел "мотивация" для @cardinal.

Пока эта ссылка

РЕДАКТИРОВАТЬ: ДОБАВЛЕНО ССЫЛКА НА ОЧЕНЬ ПОХОЖУЮ СТАТИСТИКУ «Непараметрическая оценка по неполным наблюдениям» Е.Л. Каплан и Пол Мейер, журнал Американской статистической ассоциации, вып. 53, № 282 (Jun., 1958), стр. 457-481.

не относится к вашей ECDF-подобной оценке на Я считаю, что она логически эквивалентна оценке Каплана-Мейера (также известной как оценка продукта), используемой в Survival Analysis, даже если она применяется к временному диапазону .$[0,1]$$[0,\infty)$

Оценка смещения будет возможна, если вы получите разумную оценку распределения с помощью сглаживания ядра, если оно достаточно хорошо себя ведет (см., Например, преобразование Хмаладзе в Википедии).

В двумерном случае в вашем графе задача оценки из хотя и с тривиальным ограничением симметрии, выглядит аналогично подходу в Jean-David Fermanian, Dragan Radulovic и Marten Wegkamp (2004), Слабая сходимость эмпирических связок процессы , Бернулли , вып. 10, нет 5, 847–860, как @cardinal указал «Метод многомерного дельта».$f = W / \iint W$$A$

Это отвечает на вопросы 2 и 3 выше. Я все еще действительно хочу ссылку хотя (из вопроса 1).

Это еще не учитывается, когда .$\sum Y_i = 0$

Рассмотрим , затем где индексы обозначают производные. Вспомните . Пусть Так что учтите, что и . Также, $g(A,B) = A/(A+B)$

$$\begin{align} g_A(A,B) &= (A+B)^{-1} + A(A+B)^{-2}\\ g_B(A,B) &= -A(A+B)^{-2}\\ g_{AA}(A,B) &= 2B(A+B)^{-3}\\ g_{AB}(A,B) &= (A-B)(A+B)^{-3}\\ g_{BB}(B,B) &= 2A(A+B)^{-3} \end{align}$$ $p_i = f((i-1+U_i)/n)/c$ $$\begin{align} R = \frac{1}{n}\sum_{i=1}^{\lceil nt \rceil} Y_i, \quad& \mu_R = \mathbb{E}(R) = \int_0^t p(u) \, d u = c^{-1}F(t)\\ S = \frac{1}{n}\sum_{\lceil nt \rceil +1}^n Y_i, \quad& \mu_S = \mathbb{E}(S) = \int_t^1 p(u) \, d u = c^{-1}(1-F(t)) \end{align}$$ $\mu_R + \mu_S = c^{-1}F(t) + c^{-1}(1-F(t)) = c^{-1}$$g(\mu_R, \mu_S) = F(t)$ $$\begin{align} \text{ Var}(R) &= \frac{1}{n^2} \sum_{i=1}^{\lceil nt \rceil} \text{ Var}(Y_i) = \frac{1}{n} \int_0^t f(u)/c(1-f(u)/c) \, d u = \frac{1}{nc^2} \int_0^t f(u)(c-f(u)) \, d u\\ \text{ Var}(S) &= \frac{1}{nc^2} \int_t^1 f(u)(c-f(u)) \, d u \end{align}$$ Обратите внимание, что по независимости от s.$\text{ Cov}(R,S) = 0$$Y_i$

Теперь мы используем расширение Тейлора, чтобы получить

$$\begin{align} &\mathbb{E}\left(\tilde{F}_n(t)\right) =\mathbb{E}\left( \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i \right) =\mathbb{E}\left(\frac{nR}{nR+nS}\right) =\mathbb{E}\left(\frac{R}{R+S}\right) =\mathbb{E}\left(g(R,S)\right)\\ &=g(\mu_R,\mu_S) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)g_{RR}(\mu_R, \mu_S) \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))g_{RS}(\mu_R, \mu_S) + \frac{1}{2}\mathbb{E}((S - \mu_S)^2)g_{SS}(\mu_R, \mu_S) + \dots \\ &= F(t) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)2\mu_S(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S)(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \frac{1}{2}\mathbb{E}((S - \mu_S)^2) 2\mu_R(\mu_R+\mu_S)^{-3} + \dots\\ &= F(t) + (\mu_R+\mu_S)^{-3} \bigg( \mathbb{E}((R - \mu_R)^2)\mu_S + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S) \nonumber\\ &\quad + \mathbb{E}((S - \mu_S)^2) \mu_R \bigg) + \dots \\ &= F(t) + c^3 \left( \text{ Var}(R)c(1-F(t)) \right. \nonumber\\ &\quad + \left.\text{ Cov}(R,S)(cF(t) - c(1-F(t))) + \text{ Var}(S) cF(t) \right) + \dots \\ &= F(t) + c^4 \left( \left(\frac{1}{n} \int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) \right. \nonumber\\ &\quad \left. + \left(\frac{1}{n} \int_t^1 f(u)(c-f(u)) \, d u \right) F(t) \right) + \dots\\ &= F(t) + \tilde{V}_{F(t)}/n + \dots\\ &= F(t) + {\cal O}(n^{-1}) \end{align}$$ где В частности, мы получаем $$\begin{align} \tilde{V}_{F(t)} &= c^2\left(\int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) + c^2\left(\int_t^1 f(u)(c-f(u)) \, d u \right) F(t)\\ &< c^2\left( \int_0^t cf(u) \, d u\right)(1 - F(t)) + c^2\left( \int_t^1 cf(u) \, d u\right)F(t)\\ &< c^3 2F(t)(1-F(t)) \end{align}$$ $$\begin{align} \sqrt{n}\left(\tilde{F}_n(t) - F(t)\right) \overset{d}{\to} N(0,V_{F(t)}) \end{align}$$

Пожалуйста, прокомментируйте, если вы видите что-то не так с этим.

правок:

Изменить 1 -

Исправлена ​​опечатка в . Спасибо @cardinal за ваше предложение в комментариях к вопросу 4.$V_{F(t)}$

Редактировать 2 -

Исправлено множество опечаток: у меня был где я должен был иметь во многих местах. Мне все еще нужно обратиться к ответу @ cardinal о .$c^{-1}$$c$$\sum Y_i = 0$