Вопросы с тегом «loss-functions»

Я видел два типа формулировок логистических потерь. Мы можем легко показать, что они идентичны, единственное отличие - это определение метки .yyy Формулировка / обозначения 1, :y∈{0,+1}y∈{0,+1}y \in \{0, +1\} L(y,βTx)=−ylog(p)−(1−y)log(1−p)L(y,βTx)=−ylog⁡(p)−(1−y)log⁡(1−p) L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p) где , где логистическая функция отображает действительное число в интервал 0,1.p=11+exp(−βTx)p=11+exp⁡(−βTx)p=\frac 1 {1+\exp(-\beta^Tx)}βTxβTx\beta^T x Формулировка / обозначение 2, :y∈{−1,+1}y∈{−1,+1}y …

23 logistic  generalized-linear-model  notation  loss-functions 

Люди говорят, что мягкий край SVM использует функцию потери шарнира: . Однако фактическая целевая функция, которую мягкое поле SVM пытается минимизировать, равна \ frac {1} {2} \ | w \ | ^ 2 + C \ sum_i \ max (0,1-y_i (w ^ \ intercal x_i + b) ) Некоторые авторы …

23 svm  loss-functions 

Здесь есть похожая тема ( функция стоимости нейронной сети невыпуклая? ), Но я не смог понять суть вопросов в ответах и ​​мою причину повторного запроса, надеясь, что это прояснит некоторые проблемы: Если я использую функцию суммы квадратов разницы стоимости, я в конечном итоге оптимизирую что-то в форме где - фактическое …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Можно ли контролировать стоимость ошибочной классификации в пакете R randomForest ? В моей собственной работе ложные отрицания (например, отсутствие по ошибке того, что у человека может быть заболевание) намного дороже ложных срабатываний. Пакет rpart позволяет пользователю контролировать затраты на неправильную классификацию, указывая матрицу потерь для неправильной классификации веса по-разному. Существует …

21 r  classification  random-forest  loss-functions  metric 

На этот вопрос уже есть ответы здесь : Как изменение функции стоимости может быть положительным? (1 ответ) Что мне делать, если моя нейронная сеть не учится? (5 ответов) Закрыто в прошлом месяце . Я тренирую модель (Recurrent Neural Network), чтобы классифицировать 4 типа последовательностей. Во время тренировок я вижу, что …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

«Фундаментальная» идея статистики для оценки параметров - это максимальная вероятность . Мне интересно, какова соответствующая идея в машинном обучении. Qn 1. Было бы справедливо сказать, что «фундаментальная» идея в машинном обучении для оценки параметров: «Функции потери» [Примечание: у меня сложилось впечатление, что алгоритмы машинного обучения часто оптимизируют функцию потерь, и, …

19 machine-learning  maximum-likelihood  loss-functions  pac-learning 

Я пытаюсь понять, что является целью функции потери, и я не совсем понимаю ее. Итак, насколько я понимаю, функция потерь предназначена для введения некоторой метрики, с помощью которой мы можем измерить «стоимость» неправильного решения. Допустим, у меня есть набор данных из 30 объектов, я разделил их на наборы обучения / …

19 machine-learning  loss-functions 

Я работаю в проблемной области, где люди часто сообщают о ROC-AUC или AveP (средняя точность). Однако недавно я нашел бумаги, которые оптимизируют потерю журнала , в то время как другие сообщают о потере шарнира . Хотя я понимаю, как рассчитываются эти показатели, мне трудно понять компромиссы между ними, и что …

18 loss-functions 

С фиксированным априором оценки ML (частота - максимальная вероятность) и MAP (байесовская апостериорная) совпадают. В целом, однако, я говорю о точечных оценках, полученных как оптимизаторы некоторой функции потерь. Т.е. (Bayesian) х (x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

Я пытаюсь использовать квадратичные потери, чтобы выполнить двоичную классификацию для набора данных игрушек. Я использую mtcarsнабор данных, использую милю на галлон и вес, чтобы предсказать тип передачи. На приведенном ниже графике показаны два типа данных типа передачи в разных цветах и ​​границы решения, сформированные различными функциями потерь. Квадратный убыток равен …

16 r  machine-learning  logistic  optimization  loss-functions 

Я пытаюсь лучше понять потерю журналов и как это работает, но я не могу найти одну вещь - поместить число потерь журналов в какой-то контекст. Если у моей модели потеря журнала 0,5, это хорошо? Что считается хорошим и плохим счетом? Как меняются эти пороги?

16 machine-learning  loss-functions  log-loss 

Я пытаюсь получить глобальный взгляд на некоторые основные идеи в машинном обучении, и мне было интересно, существует ли комплексный подход к различным понятиям потери (квадрат, лог, шарнир, прокси и т. Д.). Я думал о чем-то вроде более полной, формальной презентации превосходного поста Джона Лэнгфорда о семантике функции потери .

16 references  loss-functions 

Я пытаюсь понять функцию потери Yolo v2: λcoord∑i=0S2∑j=0B1objij[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑с ∈ C л с ы е с( ря( с ) - р^я( с ) )2λcoord∑i=0S2∑j=0B1ijobj[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1ijobj[(wi−w^i)2+(hi−h^i)2]+∑i=0S2∑j=0B1ijobj(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1ijnoobj(Ci−C^i)2+∑i=0S21iobj∑c∈classes(pi(c)−p^i(c))2\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c \in …

16 neural-networks  loss-functions  object-detection  yolo 

В Tensorflow есть пример учебника по классификации CIFAR-10 . В учебном пособии средняя кросс-энтропийная потеря по партии сведена к минимуму. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from distorted_inputs or inputs(). 1-D tensor …

16 neural-networks  loss-functions  tensorflow 

Потери шарнира можно определить с помощью а потерю журнала можно определить как log ( 1 + exp ( - y i w T x i ) )max ( 0 , 1 - уявесTИкся)Максимум(0,1-YявесTИкся)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)журнал ( 1 + опыт( - уявесTИкся) )журнал(1+ехр⁡(-YявесTИкся))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) У меня есть следующие вопросы: Есть ли …

14 machine-learning  svm  loss-functions  computer-vision