Вопросы с тегом «softmax»

От чего зависит выбор функции (Softmax vs Sigmoid) в классификаторе логистики? Предположим, есть 4 выходных класса. Каждая из вышеприведенных функций дает вероятности того, что каждый класс является правильным выводом. Так какой же взять за классификатор?

63 machine-learning  logistic  classification  softmax 

Я пытаюсь понять, как работает обратное распространение для выходного слоя softmax / cross-entropy. Функция кросс-энтропийной ошибки E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j с и в качестве цели и выхода на нейроне соответственно. Сумма по каждому нейрону в выходном слое. Сам является результатом функции softmax:tttooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} Опять же, сумма по каждому нейрону …

40 backpropagation  derivative  softmax  cross-entropy 

Я читаю эту страницу: http://neuralnetworksanddeeplearning.com/chap3.html и это сказало, что сигмоидальный выходной слой с кросс-энтропией весьма похож на выходной слой softmax с логарифмической вероятностью. что произойдет, если я использую сигмоид с логарифмической вероятностью или softmax с перекрестной энтропией в выходном слое? это нормально? потому что я вижу, что есть только небольшая …

31 neural-networks  maximum-likelihood  softmax 

Я работаю с Convolutional Neural Networks (CNNs) в течение некоторого времени, в основном над данными изображений для семантической сегментации / сегментации экземпляров. Я часто представлял softmax выхода сети как «тепловую карту», ​​чтобы увидеть, насколько высоки активации на пиксель для определенного класса. Я интерпретировал низкие активации как «неопределенные» / «неуверенные» и …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Применение функции softmax к вектору даст «вероятности» и значения между и . 000111 Но мы также можем разделить каждое значение на сумму вектора, и это даст вероятности и значения между и .000111 Я прочитал ответ здесь, но он говорит, что причина в том, что он дифференцируем, хотя обе функции дифференцируемы.

20 machine-learning  neural-networks  softmax 

У меня есть нейронная сеть, настроенная для предсказания чего-то, где выходная переменная является порядковой. Я опишу ниже, используя три возможных выхода A <B <C. Совершенно очевидно, как использовать нейронную сеть для вывода категориальных данных: выходные данные - это просто максимальное значение последнего (обычно полностью подключенного) слоя, по одному на категорию, …

20 neural-networks  ordinal-data  softmax 

Кажется, существует большая путаница при сравнении использования glmnetвнутри caretдля поиска оптимальной лямбды и использования cv.glmnetдля выполнения той же задачи. Было задано много вопросов, например: Модель классификации train.glmnet против cv.glmnet? Как правильно использовать glmnet с кареткой? Перекрестная проверка `glmnet` с использованием` caret` но ответа не дано, что может быть связано с …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

Интересно, почему иерархический софтмакс лучше подходит для нечастых слов, а отрицательная выборка лучше для частых слов в моделях CBOW и skip-грамм word2vec. Я прочитал претензию на https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Я начал с изучения нейронных сетей с помощью учебника по нейронным сетям и углублённому изучению точек. В частности, в 3-й главе есть раздел о функции кросс-энтропии, который определяет потерю кросс-энтропии как: С= - 1NΣИксΣJ( уJперaLJ+ ( 1 - уJ) пер( 1 - аLJ) )C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln …

12 neural-networks  loss-functions  softmax  cross-entropy 

Функция softmax, обычно используемая в нейронных сетях для преобразования действительных чисел в вероятности, является той же самой функцией, что и распределение Больцмана, распределение вероятностей по энергиям для ансамбля частиц в тепловом равновесии при заданной температуре T в термодинамике. Я вижу некоторые четкие эвристические причины, почему это практично: Независимо от того, …

12 machine-learning  neural-networks  softmax 

Я изучаю и пытаюсь реализовать сверточные нейронные сети, но я полагаю, что этот вопрос относится к многослойным персептронам в целом. Выходные нейроны в моей сети представляют активацию каждого класса: самый активный нейрон соответствует предсказанному классу для данного входа. Чтобы учесть стоимость кросс-энтропии для обучения, я добавляю слой softmax в конце …

12 neural-networks  deep-learning  conv-neural-network  nonlinear  softmax 

В литературе по машинному обучению для представления распределения вероятностей часто используется функция softmax. Есть причина для этого? Почему не используется другая функция?

10 machine-learning  distributions  softmax 

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 11 месяцев назад . Мне нужно применить функцию активации Softmax к многослойному Perceptron в Scikit. Документация Scikit по теме моделей нейронных сетей (под …

9 neural-networks  scikit-learn  multi-class  softmax 

Я заметил, что Caffe (структура глубокого обучения) использовала Softmax Loss Layer в SoftmaxWithLoss качестве выходного слоя для большинства образцов модели . Насколько я знаю, слой Softmax Loss представляет собой комбинацию Multinomial Logistic Loss Layer и Softmax Layer . От Кафе они сказали, что Расчет градиента слоя потерь Softmax более численно …

9 multinomial  entropy  sums-of-squares  softmax