От правила персептрона к градиентному спуску: чем отличаются перцептроны с функцией активации сигмовидной кишки от логистической регрессии?

По сути, мой вопрос заключается в том, что в многослойных персептронах персептроны используются с сигмовидной активационной функцией. Так что в правиле обновления вычисляется как $\hat{y}$

\hat{Y} знак равно \frac{1}{1 + ехр (- {вес}^{T} {Икс}_{я})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Чем этот «сигмовидный» персептрон отличается от логистической регрессии?

Я бы сказал , что однослойный персептрон сигмовидной эквивалентно логистической регрессии в том смысле , что оба используют в правиле обновления. Кроме, как обратный $\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$ в прогнозе. Однако в многослойных персептронах функция активации сигмоида используется для возврата вероятности, а не сигнала включения-выключения в отличие от логистической регрессии и однослойного персептрона. $\operatorname{sign}(\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)})$

Я думаю, что использование термина «персептрон» может быть немного неоднозначным, поэтому позвольте мне дать некоторые сведения, основанные на моем текущем понимании однослойных персептронов:

Классическое правило персептрона

Во-первых, классический персептрон Ф. Розенблатта, где у нас есть ступенчатая функция:

Δ w_{d} = η (y_{i} - \hat{y_{i}}) x_{i d} y_{i}, \hat{y_{i}} \in {- 1, 1}

$\Delta w_d = \eta(y_{i} - \hat{y_i})x_{id} \quad\quad y_{i}, \hat{y_i} \in \{-1,1\}$

обновить веса

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Так что рассчитывается как $\hat{y}$

\hat{y} = sign (w^{T} x_{i}) = sign (w_{0} + w_{1} x_{i 1} + . . . + w_{d} x_{i d})

$\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i) = \operatorname{sign}(w_0 + w_1x_{i1} + ... + w_dx_{id})$

Градиентный спуск

Используя градиентный спуск, мы оптимизируем (минимизируем) функцию стоимости

J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R

$J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

где у нас есть «реальные» числа, так что я вижу это в основном аналогично линейной регрессии с той разницей, что наш классификационный результат имеет пороговое значение.

Здесь мы делаем шаг в отрицательном направлении градиента, когда мы обновляем веса

Δ w_{k} = - η \frac{\partial J}{\partial w_{k}} = - η \sum_{i} (y_{i} - \hat{y_{i}}) (- x_{i k}) = η \sum_{i} (y_{i} - \hat{y_{i}}) x_{i k}

$\Delta w_k = - \eta \frac{\partial J}{\partial w_k} = - \eta \sum_i (y_i - \hat{y_i})(- x_{ik}) = \eta \sum_i (y_i - \hat{y_i})x_{ik}$

Но здесь мы имеем вместо $\hat{y} = \mathbf{w}^T\mathbf{x}_i$ $\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i)$

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Кроме того, мы рассчитываем сумму квадратов ошибок для полного прохода по всему набору обучающих данных (в режиме пакетного обучения) в отличие от классического правила персептрона, которое обновляет весовые коэффициенты по мере поступления новых обучающих выборок (аналог стохастического градиентного спуска - онлайн учусь).

Сигмовидная функция активации

Теперь вот мой вопрос:

В многослойных персептронах персептроны используются с сигмовидной функцией активации. Так что в правиле обновления вычисляется как $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Чем этот «сигмовидный» персептрон отличается от логистической регрессии?

Удивительно, но этот вопрос сам по себе позволил мне сжать основы машинного обучения и нейронной сети!

— Варун

Ответы:

Используя градиентный спуск, мы оптимизируем (минимизируем) функцию стоимости

$J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R$ $J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

Если вы минимизируете среднеквадратичную ошибку, то она отличается от логистической регрессии. Логистическая регрессия обычно связана с перекрестной потерей энтропии, вот страница введения из библиотеки scikit-learn .

(Я предполагаю, что многослойные персептроны - это то же самое, что называется нейронными сетями.)

Если вы использовали кросс-энтропийную потерю (с регуляризацией) для однослойной нейронной сети, то это будет та же модель (лог-линейная модель), что и логистическая регрессия. Если вместо этого вы используете многослойную сеть, ее можно рассматривать как логистическую регрессию с параметрическими нелинейными базисными функциями.

Однако в многослойных персептронах функция активации сигмоида используется для возврата вероятности, а не сигнала включения-выключения в отличие от логистической регрессии и однослойного персептрона.

Выходные данные как логистической регрессии, так и нейронных сетей с функцией активации сигмоида могут быть интерпретированы как вероятности. Поскольку кросс-энтропийная потеря на самом деле является отрицательной логарифмической вероятностью, определенной через распределение Бернулли.

— dontloo
источник

Поскольку градиентный спуск обновляет каждый параметр таким образом, что он уменьшает выходную ошибку, которая должна оставаться функцией всех параметров. Активация на основе порога не дифференцируема, поэтому используется сигмовидная или танх активация.

Вот однослойная НН

$\frac{dJ(w,b)}{d\omega_{kj}} =\frac{dJ(w,b)}{dz_k}\cdot \frac{dz_k}{d\omega_{kj}}$

$\frac{dJ(w,b)}{dz_k} = (a_k -y_k)(a_k(1-a_k))$

$\frac{dz_k}{d\omega_{kj}} = x_k$

$J(w,b) = \frac{1}{2} (y_k - a_k)^2$

$a_k = sigm(z_k) = sigm(W_{kj}*x_k + b_k)$

if activation function were a basic step function (threshold), derivative of $J$ w.r.t $z_k$ would be non-differentiable.

here is a link that explain it in general.

Edit: Maybe, I misunderstood what you mean by perceptron. If I'm not mistaken, perceptron is threholded weighed sum of inputs. If you change threholding with logistic function it turns into logistic regression. Multi-layer NN with sigmoid (logistic) activation functions is cascaded layers composed of logistic regressions.

— yasin.yazici
источник

This doesn't answer the question.

— Neil G

Спасибо за написание этого хорошего комментария, но это было не то, что я просил. Мой вопрос был не «почему градиентный спуск», а «что отличает персептрон с сигмовидной активационной функцией от логистической регрессии»

@SebastianRaschka Они одинаковы. С чего ты взял, что они разные? Я вел градиентный спуск, потому что увидел ошибку в вашей оценке градиентного спуска. Вы предполагали

y = W^{T} X

$y = W^T X$ когда ты ехал на нем Вот почему вы нашли один и тот же вывод для обновления как Перцептрона, так и Градиента.

— yasin.yazici

"What makes you think that they are different?" -- the nomenclature, thus I was wondering if there is something else; I am just curious why we have 2 different terms for the same thing. Btw. I don't see any mistake in the gradient descent in my question.

y = w_{j}^{T} x_{j i}

$y = w_j^Tx_{ji}$ is correct. And I also didn't find the same derivation between "perceptron rule" and "gradient descent" update. The former is done in an online learning manner (sample by sample), the latter is done in batch, and also we minimize the sum of squared errors instead of using a stepwise function.

I think what might caused the confusion is that you have distinguish between the "classification" and the "learning" step. The classification step is always thresholded (-1 or 1, or 0 and 1 if you like). However, the update is different, in the classic perceptron, the update is done via

η (y - s i g n (w^{T} x_{i})) x

$\eta (y - sign(w^Tx_i))x$ whereas in let's say stochastic gradient descent it is

η (y - w^{T} x_{i}) x_{i}

$\eta (y - w^Tx_i)x_i$

Intuitively, I think of a multilayer perceptron as computing a nonlinear transformation on my input features, and then feeding these transformed variables into a logistic regression.

The multinomial (that is, N > 2 possible labels) case may make this more clear. In traditional logistic regression, for a given data point, you want to compute a "score", $\beta_i X$ , for each class, $i$ . And the way you convert these to probabilities is just by taking the score for the given class over the sum of scores for all classes, $\frac{\beta_i X}{\sum_j \beta_j X}$ , Таким образом, класс с большим баллом имеет большую долю комбинированного балла и, следовательно, более высокую вероятность. Если вы вынуждены прогнозировать отдельный класс, вы выбираете класс с наибольшей вероятностью (что также является наибольшим баллом).

Я не знаю о вас, но на моих курсах и исследованиях по моделированию я пробовал все разумные и глупые преобразования входных функций, чтобы улучшить их значимость и общий прогноз модели. Квадрат, сбор журналов, объединение двух в норму и т. Д. У меня не было стыда, но терпение было ограниченным.

Многослойный персептрон подобен аспиранту, у которого слишком много времени. Посредством обучения градиентному спуску и активации сигмоидии он будет вычислять произвольные нелинейные комбинации ваших исходных входных переменных. В последнем слое персептрона эти переменные фактически становятся $X$ в приведенном выше уравнении, и ваш градиентный спуск также вычисляет связанный окончательный $\beta_i$ , Платформа MLP - просто абстракция этого.

— Дэн Ван Боксел
источник