Почему бы нам просто не изучить гиперпараметры?

11

Я реализовывал довольно популярную статью « ОБЪЯСНЕНИЕ И ПРИМЕНЕНИЕ ОБОБЩЕННЫХ ПРИМЕРОВ », и в статье она обучает противоборствующей целевой функции.

J '' (θ) = αJ (θ) + (1 - α) J '(θ).

Он рассматривает α как гиперпараметр. α может быть 0,1, 0,2, 0,3 и т. д.

Независимо от этой конкретной статьи, мне интересно, почему бы нам просто не включить α в наши параметры и не узнать лучший α?

Какой недостаток для этого? Это из-за переоснащения? Если так, то почему изучение только еще одного параметра вызывает такое переобучение?

— Aerin
источник

Хорошо, если гиперпараметр является параметром функции стоимости (а не процесса генерации DGP-данных), не ясно, что данные сами по себе содержат информацию о них.

— kjetil b halvorsen

1

Во многих случаях мы используем данные для выбора , наблюдая за производительностью модели в наборе проверки. (то есть прокси для ошибки обобщения.)

α

$\alpha$

— Vimal

8

"Почему бы нам просто не изучить гиперпараметры?"

Это отличный вопрос! Я постараюсь дать более общий ответ. TL; DR ответ , что вы определенно можете узнать гиперпараметры, просто не из одних и тех же данных. Продолжайте читать для более подробного ответа.

Гиперпараметр , как правило , соответствует значению алгоритма обучения, а не один из ее параметров. Например, в контексте глубокого обучения это иллюстрируется разницей между чем-то вроде числа нейронов в определенном слое (гиперпараметр) и весом определенного ребра (обычный, обучаемый параметр).

Почему есть разница в первую очередь? Типичный случай для того, чтобы сделать параметр гиперпараметром , это просто неуместно изучать этот параметр из обучающего набора. Например, поскольку всегда легче снизить ошибку обучения, добавляя больше нейронов, включение числа нейронов в слое в регулярный параметр всегда будет стимулировать очень большие сети, что, как мы знаем, не всегда желательно (из-за переобучения).

На ваш вопрос, это не значит, что мы вообще не изучаем гиперпараметры. Отложив вычислительные задачи на минуту, очень возможно выучить хорошие значения для гиперпараметров, и даже есть случаи, когда это необходимо для хорошей производительности; все обсуждение в первом абзаце предполагает, что по определению вы не можете использовать одни и те же данные для этой задачи .

Используя другое разделение данных (таким образом создавая три непересекающиеся части: обучающий набор, набор проверки и набор тестов, теоретически вы можете выполнить следующую процедуру вложенной оптимизации : во внешнем цикле вы пытаетесь найти значения для гиперпараметров, которые минимизируют потерю проверки , и во внутреннем цикле вы пытаетесь найти значения для обычных параметров, которые минимизируют потерю обучения .

Это возможно в теории, но очень дорого в вычислительном отношении: каждый шаг внешнего цикла требует решения (до завершения или где-то близко к этому) внутреннего цикла, который обычно тяжел в вычислительном отношении. Что еще больше усложняет ситуацию, так это то, что внешняя проблема непроста: с одной стороны, пространство поиска очень велико.

Существует много подходов для преодоления этого путем упрощения вышеописанной настройки (поиск по сетке, случайный поиск или оптимизация гиперпараметров на основе моделей), но их объяснение выходит далеко за рамки вашего вопроса. Как показано в статье, на которую вы ссылаетесь, тот факт, что это дорогостоящая процедура, часто означает, что исследователи просто пропускают ее полностью или пробуют совсем немного настроек вручную, в конечном итоге выбирая лучший (опять же, в соответствии с набором валидации). На ваш первоначальный вопрос, тем не менее, я утверждаю, что - хотя и очень упрощенно и изобретательно - это все еще форма «обучения».

— galoosh33
источник

Привет спасибо за ответ Что произойдет, если я использую те же данные?

— Аэрин

7

Гиперпараметры, подобные приведенному в этой статье, часто используются для балансировки нескольких терминов в функции потерь. Если бы вы сделали их доступными для изучения, процесс оптимизации просто научился бы распределять весь вес по терминам, которые легче оптимизировать за счет условий, которые сложнее оптимизировать, что лишает смысла балансировать термины.

Другой способ увидеть это состоит в том, что функция потерь является суррогатом для фактической цели, которую трудно определить или оптимизировать, например, «генерировать выходные изображения должны выглядеть реалистично» или «должны быть устойчивы к состязательным примерам». В этом случае истинная цель заключается не в том, чтобы «найти гиперпараметры, чтобы минимизировать потерю суррогата», а в том, чтобы «найти гиперпараметры, чтобы при запуске SGD для остальных параметров оптимизировать суррогат, мы получили хорошую производительность для истинного». задача".

— Симао
источник

4

Так как вы спросили «независимо от бумаги», я хотел бы привести более простой пример: линейная регрессия, оштрафованная (Ридж / Лассо).

В этих случаях я могу подумать о двух причинах: но во-первых, обратите внимание, что здесь есть две функции: (F1) функция потерь, которая является аналитической функцией гиперпараметра и данных (в статье, которую вы связали, это и (F2) оценка ошибки обобщения, которая зависит от оптимального решения (F1) и гиперпараметра, выбранного вами в (F1). $\tilde{J}$

Предостережение: беглый взгляд на статью показывает, что авторы обучают классификатор нейронной сети для набора данных MNIST. Там явно не сказано, как выбрать гиперпараметр , но я бы выбрал один который минимизирует ошибку проверки лучшей модели. $\alpha$ $\alpha$

Целевой функцией для оптимизации гиперпараметра является выражение, являющееся прокси для ошибки обобщения. Это выражение трудно записать как простую аналитическую функцию, которую можно дифференцировать, но в какой-то момент ее можно легко оценить, просто решив основную задачу оптимизации.
Оценка функции (F2) требует решения задачи оптимизации, которая может быть дорогой. Таким образом, даже если вы можете приблизить градиент для F2, чтобы сделать градиентный спуск, это будет дорого и медленно. В таких случаях поиск по сетке часто оказывается «достаточно хорошим».

Сказав это, существуют методы для оптимизации целевых функций черного ящика (таких как F2), предполагая некоторую структуру гладкости из-за их зависимости от гиперпараметра. В качестве примера вы можете увидеть этот пост, который показывает, как производительность модели Лассо зависит от ее гиперпараметра : $\lambda$

(Изображение взято из этого поста: https://stats.stackexchange.com/a/26607/54725 )

Некоторые ссылки:

Семинар по Байесовской оптимизации для функций черного ящика: https://bayesopt.github.io/
МЧС Yelp: https://github.com/Yelp/MOE
Визирь Google: https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/46180.pdf

— Vimal
источник

Вы конкретно ссылаетесь на второй термин в статье J (θ, x + esign (∇xJ (θ, x, y)) как F2?

— Аэрин

@ Аарон нет. - функция стоимости; - регуляризованная функция стоимости. Поскольку они строят классификатор, я бы сказал, что F2 может быть функцией потери проверки. В документе фактически говорится, что они выбрали равным 0,5, поскольку он работал достаточно хорошо (они не изучали другие значения и стратегию выбора ).

J

$J$

\tilde{J}

$\tilde{J}$

α

$\alpha$

α

$\alpha$

α

$\alpha$

— Vimal

Так что же в документе вы называете F1 и F2?

— Аэрин

F1 - это и я бы использовал ошибку проверки как F2. Я уточню свой ответ, чтобы уточнить это.

\tilde{J}

$\tilde{J}$

— Вимал

1

Давайте посмотрим, как будет выглядеть условие первого порядка, если мы подключим гиперпараметр и попытаемся изучить его так же, как из данных: Следовательно, $\alpha$ $\theta$

\frac{\partial}{\partial α} J^{″} (θ) = \frac{\partial}{\partial α} α J (θ) + \frac{\partial}{\partial α} (1 - α) J^{'} (θ) = J (θ) - J^{'} (θ) = 0

$\frac \partial{\partial\alpha} J''(\theta) = \frac \partial{\partial\alpha}\alpha J(\theta) + \frac \partial{\partial\alpha}(1 − \alpha)J'(\theta)\\ = J(\theta) − J'(\theta) = 0$

J (θ) = J^{'} (θ)

$J(\theta) = J'(\theta)$

Когда этот гиперпараметр будет оптимизирован, то и J, и J 'станут одной и той же функцией, то есть равными весами. В итоге вы получите тривиальное решение.

Если вы хотите более общего философствования, подумайте об этом: гиперпараметры обычно не связаны с данными. Что я имею в виду? В нейронной сети или даже в простой регрессии параметры вашей модели будут каким-то образом напрямую взаимодействовать с данными: и так далее вниз по слоям. Вы видите, как запутывается в ваших данных. Таким образом, когда вы берете производную по любой -функции целевой функции, вы получаете точки данных, вводящие результат неочевидными способами в матрицу, гессианы, кросс-продукты и т. Д.

y_{L} = X_{L} β_{L}

$y_L=X_L\beta_L$

a_{L} = σ (y_{L})

$a_L=\sigma(y_L)$

X_{L + 1} = a_{L}

$X_{L+1}=a_L$

β_{L}

$\beta_L$

β

$\beta$

Однако, если вы попытаетесь оценить условия первого порядка по гиперпараметрам, вы не получите этот эффект. Производные гиперпараметров часто оперируют целыми порциями вашей модели, не перетасовывая ее части как производные по параметрам. Вот почему оптимизация гиперпараметров часто приводит к тривиальным решениям, подобным тому, которое я дал вам для конкретной статьи. Оптимизация гиперпараметров не беспокоит ваш набор данных и делает его достаточно неудобным для создания чего-то интересного.

— Аксакал
источник