Обобщая «среднюю уловку» для более высоких измерений?

Для рандомизированных алгоритмов $\mathcal{A}$ принимающих реальные значения, «срединный трюк» - это простой способ уменьшить вероятность отказа до любого порогового значения $\delta > 0$ , за счет только мультипликативного $t=O(\log\frac{1}{\delta})$накладные расходы. А именно, если$\mathcal{A}$Выход «сек падает в„хороший диапазон“$I=[a,b]$с вероятностью (по крайней мере)$2/3$,затем выполняется независимые копии1,...,ти принимая медиану их выходовa1,…,atприведет к падению значенияIс вероятностью не менее1-δпо границам Черноффа / Хеффдинга.$\mathcal{A}_1,\dots,\mathcal{A}_t$$a_1,\dots,a_t$$I$$1-\delta$

Есть ли какое-либо обобщение этого «трюка» для более высоких измерений, скажем, $\mathbb{R}^d$ , где хорошим диапазоном является теперь выпуклое множество (или шар, или любое достаточно хорошее и структурированное множество)? То есть, дано рандомизированное алгоритм вывода значения в R д , и «хороший набор» S ⊆ R d такие , что Р г { А ( х , г ) ∈ S } ≥ 2 / 3 для всех х , как можно импульс вероятность успеха до 1 - δ$\mathcal{A}$$\mathbb{R}^d$$S\subseteq \mathbb{R}^d$$\mathbb{P}_r\{ \mathcal{A}(x,r) \in S \} \geq 2/3$$x$$1-\delta$только с логарифмической стоимостью в ?$1/\delta$

(По-разному: задано фиксированное, произвольное с гарантией того, что не менее 2 $a_1,\dots, a_t\in \mathbb{R}^d$ изaiпринадлежатS, существует ли процедура вывода значения изS? Если так, есть ли эффективный?)$\frac{2t}{3}$$a_i$$S$$S$

И каков минимальный набор допущений, необходимых для чтобы вышеперечисленное было достижимым?$S$

Извините, если это окажется тривиальным - я не смог найти ссылку на этот вопрос ...

То, что вы ищете, - это почти такая же устойчивая центральная тенденция : способ сокращения облака точек данных до одной точки, такой, что если многие точки данных близки к некоторой «основной истине», но остальные как угодно далеко, тогда ваш вывод также будет близок к истине. «Точка разрушения» такого метода - это доля произвольно плохих выбросов, которые он может терпеть. Разница в том, что в вашем случае вы хотите заменить «близко к» на «внутри выпуклой оболочки».

Один из способов уловить это с помощью понятия глубины Тьюки. Точка имеет глубину Тьюки (относительно заданного набора из n точек данных), если каждое полупространство, содержащее данную точку, также содержит по меньшей мере p n точек данных. Если есть хорошее выпуклое подпространство, внутри которого вы хотите находиться, то точка с глубиной Тьюки p будет внутри него, пока есть хотя бы$p$$n$$pn$$p$ точек данных. Таким образом, точка разрыва этого метода является наибольшим значением p, которое вы можете получить.$(1-p)n$$p$

К сожалению, эта точка разбивки равна , а не близко к 1/2, как для глубины Тьюки, так и для вашей проблемы. И вот почему: если ваши данные сгруппированы около вершин d + 1 симплекса, то до тех пор, пока меньше 1 / ( d + $1/(d+1)$$d+1$их доля ) является выбросами (но вы не знаете, какие именно), тогда любая точка в Симплекс безопасен в выборе, так как он всегда будет в выпуклой оболочке не-выбросов. Но если больше 1 / ( д + 1 $1/(d+1)$$1/(d+1)$ из точек могут быть выбросы, нигде не может быть безопасно выбирать: какую бы точку в симплексе вы ни выбрали, выбросы могут быть всеми точками из ближайшей симплекс-вершины, и вы будете вне корпуса останцы.

Если вы готовы терпеть худшую точку разбивки, больше похоже на , есть рандомизированный метод для нахождения глубокой точки, полиномиальной как по n, так и по d : см. Мою статью$O(1/d^2)$$n$$d$

Аппроксимирующие центральные точки с повторяющимися точками Радона, К. Кларксон, Д. Эппштейн, Г. Л. Миллер, С. Стуртивант и С.-Х. Тенг, 9-й симпозиум ACM Комп. Геом. Сан-Диего, 1993, стр. 91–98, Int. J. Comp. Геом. & Appl. 6 (3): 357–377, 1996, http://kenclarkson.org/center/p.pdf

Это аккуратный вопрос, и я думал об этом раньше. Вот что мы придумали:

Вы запускаете свой алгоритм раз , чтобы получить выходы х 1 , ⋯ , х п ∈ R D , и вы знаете , что с большой долей вероятности большая часть х я с падения в некоторый хороший набор G . Вы не знаете, что такое G , просто оно выпуклое. Хорошей новостью является то, что есть способ получить точку в G без дополнительной информации об этом. Назовите эту точку f ( x 1 , ⋯ , x n$n$$x_1, \cdots, x_n \in \mathbb{R}^d$$x_i$$G$$G$$G$$f(x_1, \cdots, x_n)$ .

Теорема. Для всех натуральных чисел и d существует функция f : ( R d ) n → R d такая, что имеет место следующее. Пусть х 1 . , , x n ∈ R d, и пусть G ⊂ R d - выпуклое множество, удовлетворяющее $n$$d$$f : (\mathbb{R}^d)^n \to \mathbb{R}^d$$x_1 ... x_n \in \mathbb{R}^d$$G \subset \mathbb{R}^d$ТогдаF(х1,...,Хп)∈G. Кроме того,fвычислимо по полиному по времени отnd. $$\frac{1}{n}\left|\left\{ i \in [n] : x_i \in G \right\}\right| > \frac{d}{d+1}.$$ $f(x_1, ..., x_n) \in G$$f$$n^d$

Обратите внимание, что для мы можем установить f в качестве медианы. Так что это показывает, как обобщить медиану для d > 1 .$d=1$$f$$d>1$

Прежде чем доказывать этот результат, обратите внимание, что он жесткий: пусть и пусть x 1 , ⋯ , x d будут стандартными базисными элементами и x d + 1 = 0 . Любое подмножество d точек содержится в аффинном пространстве G размерности d - 1 (которое однозначно определяется этими точками). Но во всех этих аффинных пространствах нет смысла. Следовательно, существует некоторая выпуклая G , содержащая n ⋅ d / ( d $n=d+1$$x_1, \cdots, x_d$$x_{d+1}=0$$d$$G$$d-1$$G$ очков, но не содержит f ( x 1 , ⋯ , x n$n\cdot d/(d+1)=d$$f(x_1, \cdots, x_n)$ , какое бы значение оно ни приняло.

Доказательство.Мы используем следующий результат.

Теорема Хелли. Пусть - выпуклые подмножества R d . Предположим, что пересечение любого d + 1 K i s непусто. Тогда пересечение всех K $K_1 ... K_m$$\mathbb{R}^d$$d+1$ $K_i$$K_i$ непусто.

Нажмите здесь для доказательства теоремы Хелли.

Теперь докажем нашу теорему:

Пусть будет верхняя граница числа точек не в G . Рассмотрим все замкнутые полупространства K 1 . , , K m ⊂ R d, содержащее не менее n - k точек, а их граница содержит множество точек максимального ранга (это конечное число полупространств, поскольку каждый K i определяется как d + $k<n/(d+1)$$G$$K_1 ... K_m \subset \mathbb{R}^d$$n-k$$K_i$$d+1$ точкой на своей границе).

Дополнение каждого содержит не более k точек. По границе объединения пересечение любых d + 1 K i s содержит не менее n - k ( d + 1 ) > 0 точек. По теореме Хелли (так как полупространства выпуклые), есть точка пересечения всех K я S . Пусть функция f вычисляет произвольную точку на пересечении K $K_i$$k$$d+1$ $K_i$$n-k(d+1)$$K_is$$f$$K_i$ s.

Осталось только показать, что пересечение содержится в $K_i$$G$ .

Без ограничения общности является выпуклой оболочкой подмножества точек с полным рангом. То есть мы можем заменить G выпуклой оболочкой из точек, которые она содержит. Если это не имеет полного ранга, мы можем просто применить нашу теорему в более низком измерении.$G$$G$

Каждая грань определяет полупространство, где G - пересечение этих полупространств. Каждое из этих полупространств содержит G и, следовательно, содержит не менее n - k точек. Граница одного из этих полупространств содержит грань группы G и, следовательно, содержит множество точек максимального ранга. Таким образом, каждое из этих полупространств представляет собой K i . Таким образом, пересечение всех K i содержится в G , как требуется.$G$$G$$G$$n-k$$G$$K_i$$K_i$$G$

To compute $f$, set up a linear program where the linear constraints correspond to $K_i$s and a feasible solution corresponds to a point in the intersection of all the $K_i$s. Q.E.D.

Unfortunately, this result is not very practical in the high-dimensional setting. A good question is whether we can compute $f$ more efficiently:

Open Problem. Prove the above theorem with the additional conclusion that $f$ can be computed in time polynomial in $n$ and $d$.

Aside: We can also change the problem to get an efficient solution: If $x_1, \cdots, x_n$ have the property that strictly more than half of them lie in a ball $B(y,\varepsilon)$, then we can find a point $z$ that lies in $B(y,3\varepsilon)$ in time polynomial in $n$ and $d$. In particular, we can set $z=x_i$ for an arbitrary $i$ such that strictly more than half of the points are in $B(z,2\varepsilon)$.

There is a notion of the median of a set of points in high-dimensions and general norms which is known under various names. It is just the point that minimizes the sum of distances to all the points in the set. It is known to have a similar confidence amplification property as the usual median with a small multiplicative increase in the distance. You can find the details in Theorem 3.1 of this paper: http://arxiv.org/pdf/1308.1334.pdf

One nice thing that this paper shows is that the factor by which the distance increases can be made any constant >1 if you can amplify from arbitrarily high (but constant < 1) confidence.

Edit: there is another recent paper on the topic by Hsu and Sabato http://arxiv.org/pdf/1307.1827v6.pdf It mostly analyzes and applies the procedure in which the point in the set with the smallest median distance to the rest of the points is used. This procedure can be used with any metric but only gives an approximation factor of 3.