Какие есть альтернативы VC-измерению для измерения сложности нейронных сетей?

Я сталкивался с некоторыми основными способами измерения сложности нейронных сетей:

Наивный и неформальный: подсчитайте количество нейронов, скрытых нейронов, слоев или скрытых слоев
VC-измерение (Эдуардо Д. Сонтаг [1998] "VC-измерение нейронных сетей" [ pdf ].)
Конечно-гранулированная и асимптотическая вычислительная сложность измеряется эквивалентностью $TC^0_d$ .

Есть ли другие альтернативы?

Это предпочтительно:

Если показатель сложности можно использовать для измерения нейронных сетей из разных парадигм (для измерения backprop, динамики нейронных сетей, каскадной корреляции и т. Д.) В одном и том же масштабе. Например, VC-размерность может использоваться для различных типов в сетях (или даже для вещей, отличных от нейронных сетей), в то время как число нейронов полезно только между очень конкретными моделями, где функция активации, сигналы (базовые суммы против спайков) и другие свойства сети одинаковы.
Если оно имеет хорошее соответствие стандартным показателям сложности функций, которые могут быть изучены сетью
Если легко вычислить метрику в определенных сетях (хотя эта последняя не обязательна).

Примечания

Этот вопрос основан на более общем вопросе о CogSci.SE.

— Артем Казнатчеев
источник

Разве сложность не должна зависеть от алгоритма обучения? Размерность VC обычно применяется к методам с выпуклыми функциями потерь. Если у вас невыпуклая потеря, вы можете оказаться в ситуации, когда ваша модель сможет разделить некоторые точки, но ваш алгоритм обучения никогда не найдет это решение. Поэтому я чувствую, что довольно сложно иметь границы, используя структуру сети. Я согласен с @tdc, что ошибка обобщения - это путь. Статья Вапника по статистической теории обучения может быть хорошим местом для начала изучения этого.

— Андреас Мюллер

Ответы:

Возможно, вы захотите взглянуть на статью «(Не), ограничивающую истинную ошибку» Джона Лэнгфорда и Рича Каруана (NIPS, 2001)

Аннотация гласит:

Мы представляем новый подход к ограничению истинной частоты ошибок непрерывнозначного классификатора, основанного на границах PAC-Байеса. Метод сначала строит распределение по классификаторам, определяя, насколько чувствителен каждый параметр в модели к шуму. Истинная частота ошибок стохастического классификатора, найденного с помощью анализа чувствительности, может быть затем жестко ограничена с использованием PAC-байесовской границы. В этой статье мы демонстрируем метод на искусственных нейронных сетях с результатами улучшения порядка 2 3 порядка по сравнению с лучшими детерминированными границами нейронной сети.

Они показывают, что вы можете применять границы стиля PAC-байесовского к стохастическим нейронным сетям. Однако анализ применим только к двухслойным нейронным сетям с прямой связью с сигмоидальной передаточной функцией. В этом случае термин сложности зависит только от количества узлов и дисперсии весов. Они показывают, что для этого параметра граница эффективно предсказывает, когда произойдет перетренировка. К сожалению, это действительно не влияет ни на одно из ваших «предпочтительных» свойств!

— TDC
источник

+1 выглядит круто - спасибо, посмотрю. Но я согласен с тем, что он не соответствует ни одному из предпочтительных свойств и, на первый взгляд, кажется, что он на самом деле не измеряет сложность сети так же сильно, как ее производительность ... но я думаю, что они неразделимы.

— Артем Казнатчеев

На что он смотрит - это ошибка обобщения . У созданных границ обычно есть термин, основанный на ошибке обучения, и штрафной термин, основанный на сложности модели. Все, что вас интересует, - это термин «сложность», но он будет компонентом почти во всех отношениях. Это видео объясняет это лучше, чем я!

— TDC

думаю, что это направление не правильно. ошибка сильно отличается от сложности сети. хотя существующая теория может размыть два. простой пример - переобучение, когда ошибка мала, а сложность высока. Кроме того, ошибка может вести себя нелогично по отношению к сложности. такой как уклон. Похоже, небольшая сеть может недооценивать ошибки. и так далее

@vzn, но ошибка обобщения - это ошибка будущих данных - т. е. если у вас низкая ошибка обучения и высокая сложность, ваша ошибка будет потеряна.

— TDC

Кроме того, вы также можете быть заинтересованы в потрясающей работе, выполненной профессором Питером Бартлеттом. Вот введение в анализ сложности нейронных сетей в документе IEEE 1998 года: Пример сложности классификации шаблонов с нейронными сетями: размер весов важнее размера сети (Bartlett 1998) [ http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]

— Шон Сингх
источник