Нижняя граница для проверки близости в норме ?

11

Мне было интересно, существует ли какая-либо нижняя граница (с точки зрения сложности образца), известная для следующей проблемы:

Учитывая пример доступа оракул двух неизвестных распределений , на , тест (WHP) следует ли $D_1$ $D_2$ $\{1,\dots,n\}$

$D_1=D_2$
или $\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Batu et al. [BFR + 00] показал, что выборки $O\left(\frac{1}{\epsilon^4}\right)$ было достаточно, но я не нашел упоминания о нижней границе?

Я считаю, что всегда можно показать нижнюю границу $\Omega(\frac{1}{\epsilon^2})$ , уменьшив задачу различения монеты, справедливой и $\epsilon$ ориентированной, для этой задачи (имитация распределения, поддерживаемого только на двух и отвечает на вопросы тестера в соответствии с бросками монет iid), но это все равно оставляет квадратичный разрыв ...

(Другой момент, который меня заинтересует, - это нижняя граница оценки (с точностью до аддитива $\epsilon$ ) этого расстояния $L_2$ - опять же, я не нашел ссылки на такой результат в литературе)

Спасибо за вашу помощь,

— Климент С.
источник

Эта проблема обещаний кажется очень похожей на проблему, называемую статистическим различием Сахая и Вадхана, которая является полной проблемой для класса SZK (статистическое нулевое знание); однако они используют расстояние . cs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf . (Edit: также я думаю, что они предполагают, что у вас есть схема, вычисляющая распределения, а не доступ к оракулу.)

L_{1}

$L_1$

— usul

Привет, как уже упоминалось в другом комментарии, различие между нормой и самом деле имеет здесь решающее значение - кроме того, в другой статье они устанавливают явный (а не произвольный) порог (в одном из замечаний, они объясняют, что этот порог должен удовлетворять определенному ограничению); и хотите отличить от (что несколько ближе к толерантному тестированию / оценке расстояния, чем к «обычному тестированию», где вы хотите проверить против (но для любого исправленного )).

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— Клемент С.

6

Похоже, что образцов - как показано ниже, - достаточно для тестирования, поэтому сложность образца точно равна ; на самом деле, оказывается, что этого количества выборок нам достаточно даже для изучения вплоть до аддитивной к норме . $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

Пусть быть эмпирическая функция плотности получается рисунок IID образцы и настройка затем где . $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$ (для ) не являются независимыми, но мы можем написать так что для , и применение неравенства Маркова

k \in [n]

$k\in[n]$

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— Климент С.
источник

(Я имел в виду ответ Усула, начинающийся с «Я попытаюсь исправить свою предыдущую ошибку, показывая что-то противоположное [...]» - что на самом деле выше этого. Я не ожидал этого :)) Что касается обучения верхняя граница, можно показать, что самый наивный алгоритм (то есть тот, который рисует выборки и выводит определяемую эмпирическую плотность), дает распределение которое с постоянной вероятностью близкий к на расстоянии .

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— Клемент С.

@WW Я только что отредактировал свой ответ.

— Клемент С.

3

Я попытаюсь искупить мою предыдущую ошибку, показывая что-то противоположное - выборки достаточны (нижняя граница почти туго)! Посмотрите, что вы думаете .... $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

Ключевая интуиция начинается с двух наблюдений. Во-первых, для того чтобы распределения имели расстояние , должны быть точки с высокой вероятностью ( ). Например, если бы у нас было точки вероятности , у нас было бы . $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

Во-вторых, рассмотрим равномерное распределение с расстоянием . Если бы у нас было точек вероятности , то каждый из них отличался бы на и выборок. С другой стороны, если бы у нас было точек, каждый из них должен был бы отличаться на и снова выборок (постоянное число в точка) достаточно. Таким образом, мы можем надеяться, что среди упомянутых ранее точек высокой вероятности всегда есть некоторая точка, отличающаяся «достаточно», которую рисует . $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

Алгоритм. Учитывая и доверительный параметр , пусть . Нарисуйте образцов из каждого дистрибутива. Пусть будет соответствующим более высоким, более низким числом выборок для точки . Если есть какая-нибудь точка для которой и , объявите Распределения разные. В противном случае, объявите их одинаковыми. $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ $a_i \geq \frac{X}{8}$ $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

Границы корректности и достоверности ( ) зависят от следующей леммы, которая говорит о том, что все отклонения в расстоянии происходят из точек, вероятности которых отличаются на . $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

Запрос. Предположим, что . Пусть, Пусть . Затем $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

Доказательство . У нас есть Давайте свяжем вторую сумму; мы хотим максимизировать учетом . Поскольку функция строго выпукла и увеличивается, мы можем увеличить цель, взяв любой и увеличив на , уменьшая на . Таким образом, цель будет максимизирована с максимально возможным количеством терминов при их максимальных значениях, а остальные при

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$ , Максимальное значение каждого слагаемого равно , и существует не более слагаемых этого значения (поскольку они составляют не более ). Так что

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

Претензии . Пусть . Если , существует хотя бы одна точка с и . $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ $p_i > \frac{\epsilon^2}{4}$ $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

Доказательство . Во-первых, все точки в имеют по определению (и не может быть пустым для по предыдущему утверждению). $S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

Во-вторых, поскольку , у нас есть или, перестановка, поэтому неравенство выполняется хотя бы для одной точки в . Теперь выберите . $\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

Претензия (ложные срабатывания) . Если , наш алгоритм объявляет их различными с вероятностью не более . $D_1 = D_2$ $e^{-\Omega(M)}$

Эскиз . Рассмотрим два случая: и . В первом случае число выборок не будет превышать из любого распределения: среднее число выборок составляет а ограничение хвоста говорит, что с вероятностью , выборки не превышают их среднего на аддитивную ; если мы будем осторожны, чтобы сохранить значение в грани хвоста, мы можем объединить границу по ним независимо от того, сколько таких точек существует (интуитивно, граница уменьшается экспоненциально в количестве возможных точек). $p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

В случае мы можем использовать границу Черноффа: она говорит, что, когда мы берем выборок и точка рисуется с вероятностью , вероятность отличия от среднего значения на - самое большее . Здесь пусть , поэтому вероятность ограничена . $p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

Таким образом, с вероятностью , (для обоих распределений) число выборок находится в пределах его среднего значения . Таким образом, наш тест не поймает эти точки (они очень близки друг к другу), и мы можем объединить границы всех из них. $1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

Претензия (ложные негативы) . Если , наш алгоритм объявляет их идентичными с вероятностью не более . $\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

Эскиз . Существует некоторая точка с и . Та же оценка Чернова, что и в предыдущем утверждении, говорит, что с вероятностью число выборок отличается от его среднего значения более чем на . Это для (WLOG) распределения которое имеет ; но существует еще меньшая вероятность количества выборок из распределения $i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$ отличается от среднего значения этой добавочной величиной (поскольку среднее значение и дисперсия ниже).

Таким образом, с высокой вероятностью число выборок из каждого распределения находится в пределах от его среднего значения; но их вероятности различаются на , поэтому их средства отличаются на $i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

Таким образом, с высокой вероятностью для точки число выборок отличается как минимум на . $i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

Чтобы завершить наброски, нам нужно более строго показать, что для достаточно большого число выборок достаточно близко к его значению, которое, когда алгоритм использует вместо , это ничего не меняет (что должно быть просто, если оставить некоторое пространство для маневра в константах). $M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— усул
источник

Привет, спасибо за это - у меня есть несколько вопросов по поводу алгоритма и анализа (относительно пары очков, которые я не уверен получить): если я хочу, чтобы в конце я хотел только постоянную вероятность успеха, это означает, что константа, если я правильно понимаю (разве я не понял, что )? Так что в этом случае, обращаясь к : согласно алгоритму, он становится - это правильно?

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

— Клемент С.

@ClementC. Извините, мне было не очень понятно! Утверждение заключается в том, что если мы рисуем выборок, то вероятность ошибочности равна , поэтому для постоянная вероятность ошибочности, его выборки.

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

— Усул

ОК, вот что я собрал. Я рассмотрю доказательства с учетом этого - еще раз спасибо за то время, которое вы потратили на это!

— Клемент С.

1

Вы можете начать с попытки решить эту проблему для случая . Я уверен , что в этом случае образцы будут необходимы и достаточны. $n=2$ $\Theta(1/\epsilon^2)$

Возможно, вам будет полезно взглянуть на преобразование между расстоянием расстоянием (общее расстояние отклонения). $L_2$ $L_1$

Известно , что, с одной пробы, если известны распределения, общее расстояние вариации отлично характеризует то преимущество , с которым можно отличить от . Таким образом, если общее расстояние отклонения велико и распределения известны, можно построить тест, который является правильным с высокой вероятностью; если общее расстояние отклонения мало, нельзя. Я не знаю, что можно сказать о случае, когда общее расстояние отклонения велико, но распределения неизвестны. $D_1$ $D_2$
Далее вы можете посмотреть на дистрибутивы продуктов, и . Используя общее расстояние изменения (расстояние ), кажется, что нет хороших границ, которые бы с . Однако, используя расстояние , я считаю, что есть хорошие оценки как функции . (К сожалению, я не могу выкопать конкретную ссылку на эти оценки / границы, поэтому я надеюсь, что я не запомнил.) Есть также известные границы, которые позволяют вам оценить расстояние как функцию расстояния , $D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
Следовательно, один из подходов, который вы могли бы попробовать, заключается в том, чтобы связать , а затем получить . $||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

Я не знаю, приведет ли это к чему-то хорошему или нет; это просто идея. Возможно, авторы цитируемой вами статьи уже попробовали или рассмотрели что-то подобное.

Возможно полезные ссылки:

— DW
источник

Привет спасибо за ответ Однако меня интересует асимптотическая нижняя граница, когда . В частности, отношение между нормами и включает в себя фактор - это означает, что они действительно эквивалентны для постоянной , но асимптотически сильно различаются; насколько я могу судить, использование dstance качестве прокси-сервера не вариант (как известно, для тестирования близости на расстоянии точная сложность равна [BFR + 10 , Val11 ]

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

— Клемент С.

0

РЕДАКТИРОВАТЬ: это неправильно! Смотрите обсуждение в комментариях - я укажу на недостаток ниже.

Я думаю, мы можем сказать, что необходимы. $\frac{1}{\epsilon^4}$

Установите . Пусть - равномерное распределение (вероятность каждой точки ), и пусть отличается от равномерного на аддитивную величину в каждой точке. Убедитесь, что расстояние равно . $n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

Таким образом, мы должны отличать стороннюю честную монету от сторонней -смещенной монеты. Я думаю , что это должно быть по крайней мере , столь же трудно , как рассказывает односторонний монету из односторонний -biased монеты, что потребовало бы сэмплы. Изменить: это неверно! Монета аддитивна -biased, но она смещена мультипликативный с коэффициентом постоянная. Как отмечает DW, это означает , что постоянное число выборок в точку отличает от . $n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

Обратите внимание, что настолько далеко, насколько мы можем выдвинуть эту строку аргумента. Конкретно, предположим, что мы попытались увеличить , скажем, до . В равномерном распределении каждая точка имеет вероятность . Но в нам нужно, чтобы каждая точка отличалась от равномерной на . Это невозможно с . $\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

Более абстрактно, предположим, что мы хотим, чтобы каждая точка отличалась от равномерной на . Тогда самое большее, на что мы можем установить , будет . Чтобы получить расстояние от , нам нужно убедиться, что квадратный корень из суммы расстояний равен , поэтому , поэтому поэтому , и мы получаем . $\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

Кроме того, я думаю, что тот же аргумент говорит о том, что, если нас интересует расстояние при , нам требуется , поэтому мы бы выбрали , поэтому число выборок будет равно . Я думаю, что это имеет смысл как оценка, которая не зависит от . Это приближается к бесконечности как . Если бы вы пытались различить два распределения на расстоянии от без ограничения по , я бы сделал неограниченно большим и растянул бы разницу сколь угодно тонким, чтобы вы никогда не могли различить их ( $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ т.е. для всех ) не достаточно фиксированного количества выборок . Это также приближается к как ; это имеет смысл как ограничение, потому что для нормы мы можем установить и позволить каждой точке отличаться на ; нам нужно сэмплировать несколько точек чтобы убедиться, что они отличаются от единообразных, что приведет к выборкам. $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— усул
источник

1. Вы действительно имеете в виду, что отличается от униформы на в каждой точке? Я подозреваю, что это опечатка, а вы имели в виду .

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

— DW

1

2. Я не покупаю , что отличить от требует образцов. Мне кажется, что образцов достаточно. Объяснение (интуиция): предположим, мы собрали выборки и посчитали, сколько раз встречается каждое возможное значение. Если они пришли из , то каждое должно происходить 100 раз (с std dev 10). Если они пришли из , то каждое должно происходить 200 раз (стандартное отклонение 14) для половины из них, / 0 раз (стандартное отклонение 0) для другой половины. Этого достаточно легко различать между ними, если вы знаете , вы имеете дело с любой или .

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW (1) ты прав! Исправлена. (2) Как вы говорите, я согласен, но я думаю, что с разными вариантами выбора это сложнее. Я представляю что-то вроде этого: , поэтому ставит вероятность в каждую точку. Тогда отличается на в каждой точке (проверьте, что расстояние равно ), так что это повышает вероятность или в каждой точке.

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

— усул

1

Я думаю, что образцов все еще достаточно. Соберите выборок и , сколько раз встречается каждое возможное значение. Для каждое должно происходить 1 000 000 раз (стандартное отклонение ). Для каждое должно происходить 900 000 раз (стандартное отклонение ) или 1 100 000 раз (стандартное отклонение ). Этого достаточно легко различать между ними, если мы знаем , что мы имеем дело с любой или , так как разница между 1000000 и 1100000 100 стандартных отклонений, то есть, огромный.

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW Я думал об этом больше - ты прав. Если их средние значения отличаются постоянным мультипликативным коэффициентом, то их должно различать постоянное число выборок на точку. Это мультипликативный, а не аддитивный фактор, который имеет значение. Такой подход дает только нижнюю границу .

1 / ϵ^{2}

$1/\epsilon^2$

— Усул