Похоже, что в некоторых случаях можно получить результаты, аналогичные нейронной сети с многомерной линейной регрессией, а многомерная линейная регрессия супер быстрая и простая.
При каких обстоятельствах нейронные сети могут давать лучшие результаты, чем многомерная линейная регрессия?
Ответы:
Нейронные сети могут в принципе моделировать нелинейности автоматически (см. Теорему об универсальном приближении ), которую вам необходимо явно моделировать, используя преобразования (сплайны и т. Д.) В линейной регрессии.
Предостережение: соблазн переоснащения может быть (даже) сильнее в нейронных сетях, чем в регрессии, поскольку добавление скрытых слоев или нейронов выглядит безвредным. Так что будьте предельно осторожны, чтобы посмотреть на производительность прогнозирования вне выборки.
Вы упоминаете линейную регрессию. Это связано с логистической регрессией , которая имеет аналогичный алгоритм быстрой оптимизации. Если у вас есть границы целевых значений, например, с проблемой классификации, вы можете рассматривать логистическую регрессию как обобщение линейной регрессии.
Нейронные сети являются строго более общими, чем логистическая регрессия на исходных входах, поскольку это соответствует сети с пропуском (с соединениями, напрямую связывающими входы с выходами) с скрытыми узлами.
Когда вы добавляете такие функции, как , это похоже на выбор весов для нескольких скрытых узлов в одном скрытом слое. Существует не совсем корреспонденции, так как моделировать функцию как с сигмоида может занять более чем один скрытый нейрон. Когда вы тренируете нейронную сеть, вы позволяете ей находить свои скрытые веса, которые могут быть лучше. Это также может занять больше времени и может быть противоречивым. Вы можете начать с приближения к логистической регрессии с помощью дополнительных функций и медленно обучать веса ввода-скрытия, что в конечном итоге должно быть лучше, чем логистическая регрессия с дополнительными функциями. В зависимости от проблемы время обучения может быть незначительным или непомерным. 1 - 1 х 3
Одна промежуточная стратегия состоит в том, чтобы выбрать большое количество случайных узлов, аналогично тому, что происходит, когда вы инициализируете нейронную сеть, и исправляете веса ввода-скрытия. Оптимизация по весам * для вывода остается линейной. Это называется экстремальной обучающей машиной . Это работает по крайней мере так же, как оригинальная логистическая регрессия.
Линейная регрессия предназначена для разделения данных, которые являются линейно разделимыми, да, вы можете использовать дополнительные полиномы третьей степени, но таким образом вы снова указали некоторые предположения о данных, которые у вас есть, так как вы определяете структуру целевой функции. В нейронной сети. обычно у вас есть входной слой, который создает линейные разделители для данных, которые у вас есть, и скрытый слой И области, ограничивающие некоторые классы и ИЛИ последнего уровня, все эти области. Таким образом, все имеющиеся у вас данные могут быть классифицированы нелинейным способом, а также весь этот процесс происходит с внутренними весами и определенными функциями. Кроме того, увеличение номера элемента для линейной регрессии противоположно «проклятию размерности». Кроме того, некоторые приложения нуждаются в большем количестве вероятностных результатов, чем постоянные числа в качестве выходных данных.