Вопрос паритетного обучения

Определим класс функций для набора из битов. Исправьте два распределения , которые «разумно» отличаются друг от друга (если хотите, их вариационное расстояние составляет не менее , или что-то подобное). $n$ $p, q$ $\epsilon$

Теперь каждая функция в этом классе определяется набором из индексов и оценивается следующим образом: если четность выбранных битов равна 0, вернуть случайную выборку из , иначе вернуть случайную выборку из . $f$ $k$ $S$ $p$ $q$

Проблема : Предположим, у меня есть доступ оракула к некоторому из этого класса, и хотя я знаю (или некоторую другую меру расстояния), я не знаю и . $f$ $\epsilon$ $p$ $q$

Есть ли какие-либо ограничения на количество вызовов, которые мне нужно сделать для PAC-learn ? Предположительно мой ответ будет в терминах и . $f$ $n, k$ $\epsilon$

Примечание : я не указал выходной домен. Опять же, я гибок, но сейчас давайте скажем, что и определены над конечной областью . В общем, меня также интересует случай, когда они определены над (например, если они гауссианы) $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning

— Суреш Венкат
источник

Я не уверен, что понимаю модель. Что вы указываете в оракула? Всегда ли примеры взяты из дистрибутива, указанного целью?

— Лев Рейзин

В вызове оракула вы вызываете f (), и он возвращает значение.

— Суреш Венкат

Таким образом, в зависимости от целевой функции

, либо

либо

всегда используются для генерации примеров? (Я предполагаю, что вы

f \in F

$f \in F$

p

$p$

q

$q$

F

$F$

— учитесь в

Да, это правильно. проблема в том, чтобы узнать, какой из них (или узнать, какой бит четности используется)

— Суреш Венкат

Я не уверен, как вы адаптируете модель PAC к этой модели. Но кажется, что этого достаточно, чтобы иметь возможность отличить

от

с вероятностью

а затем вы можете получить значения

для

линейно независимых

и использовать исключение Гаусса, чтобы найти

(так как

является линейным). например, будет легко отличить двух хорошо разделенных гауссов.

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$

x

$x$

f

$f$

f

$f$

— Сашо Николов

Обсуждение в комментариях ниже указывает на то, что я неправильно понял вопрос. Мой ответ основывается на Oracle не принимает никакого ввода и возврата , где или , в зависимости от . Это явно не то, что просят. $(x, f(x))$ $x \sim p$ $x \sim q$ $f \in F$

Поскольку распределение цели является фиксированным для каждой цели , применяется верхняя граница образца PAC (это следует из того факта, что распределение цели для этой границы может даже полностью зависеть от ). Следовательно, $f^* \in F$ $f^*$ примеров должно быть достаточно, чтобы найти гипотезу ошибкиwp. Обратите внимание - после просмотра этих примеров нужно найти непротиворечивую гипотезу от, и это может не соответствовать.

m \leq \tilde{O} (\frac{1}{ϵ} (V C (F) + \log (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

С другой стороны, можно получить почти совпадающую нижнюю границу даже для случая , равномерное распределение, где примеры все еще требуются (это можно немного улучшить) , $p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$

Вариационное расстояние между и , а также может играть роль в небольшом зазоре между этими границами, но я сомневаюсь в этом. $p$ $q$ $k$

— Лев Рейзин
источник

Типичная настройка обучения PAC имеет оракула

который берет образец

из распределения

и возвращает

. Это не параметр, описанный в вопросе Суреша или посте в блоге, который вдохновил его: bit.ly/YtwdST . В обоих случаях оракул является функцией

, и учащийся может предоставить любой элемент из набора экземпляров (цепочки битов длины

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ). Лев, твой ответ предполагает оракула первого типа или второго типа? Если второй тип, мы все еще говорим о PAC-обучении?

— Кеки Бурджорджи

Понимаю. В PAC, то «оракулом» обычно понимается как кнопка , которая возвращает

где

. Оракул, который вы описываете, называется «запросом на членство» для

. Мой ответ относится только к первому. Если вы только запрашиваете членство, как вы узнаете какую-либо информацию о

или

используя платформу Suresh? Допустим,

для простоты.

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

f

$f$

p

$p$

q

$q$

p = q

$p=q$

— Лев Рейзин

Спасибо за это разъяснение. Таким образом, в случае, описанном Сурешем, оракул «запроса членства» работает следующим образом (я предполагаю, что вы поместили эту сущность в кавычки, потому что оракул может возвращать реальное значение, а не просто логическое значение is-a-member / not-a- ответ члена): если соотношение действующих атрибутов равно 1, то возвращаемый результат извлекается из распределения

. В противном случае результат получается из распределения

. Есть дополнительная морщина. Оракул запоминает все свои предыдущие ответы и возвращает их, если запрашивается с тем же вводом. Другими словами, это детерминистично.

p

$p$

q

$q$

— Кеки Бурджорджи

Я не понимаю Если оракул - это просто функция

и вы запрашиваете его, давая ему

, разве он не возвращает

? Как играть

или

если учащийся сам генерирует

? Я думаю, что я все время не мог понять этого основного положения ...

f

$f$

x

$x$

f (x)

$f(x)$

p

$p$

q

$q$

x

$x$

— Лев Рейзин

Для

псевдокод оракула для проблемы с «морщинкой» приведен в нижней части этого комментария reddit: bit.ly/XvVMC4 ( ). Я не могу встроить код, потому что SE не позволяет переводы строк в комментариях. Чтобы получить «не морщинистую» версию проблемы, просто удалите строку .

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)

— Кеки Бурджорджи