Вопросы с тегом «machine-learning»

Недавно я принимал участие в нескольких обсуждениях статистики по Лассо (регуляризация), и постоянно поднимается вопрос: мы не очень понимаем, почему Лассо работает или почему он так хорошо работает. Мне интересно, к чему относится это утверждение. Очевидно, я понимаю, почему Лассо работает технически, путем предотвращения переоснащения путем сокращения параметров, но мне …

10 machine-learning  lasso  regularization 

В курсе машинного обучения Эндрю Нг он использует следующую формулу: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T и он делает быстрое доказательство, которое показано ниже: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T …

10 machine-learning  matrix  derivative 

С точки зрения различий между нейронной сетью и глубоким обучением мы можем перечислить несколько элементов, таких как добавление большего количества слоев, массивный набор данных, мощное компьютерное оборудование, чтобы сделать обучение сложной моделью. Помимо этого, есть ли более подробное объяснение различий между NN и DL?

10 machine-learning  neural-networks  deep-learning  conv-neural-network  deep-belief-networks 

Хотя я фактически занимался программированием на машинах Больцмана в классе физики, я не знаком с их теоретической характеристикой. Напротив, я знаю скромное количество о теории графических моделей (о первых нескольких главах книги Лауритцена « Графические модели» ). Вопрос: Есть ли какая-либо значимая связь между графическими моделями и машиной Больцмана? Является …

10 machine-learning  neural-networks  mathematical-statistics  graphical-model  rbm 

Это бета-оценка F: Fβ= ( 1 + β2) ⋅ р г е с я с я о п ⋅ г е с л л( β2⋅ р т е с я с я о п ) + г е грл лFβзнак равно(1+β2)⋅пресяsяоN⋅ресaLL(β2⋅пресяsяоN)+ресaLLF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot …

10 machine-learning  precision-recall  model-evaluation 

Можно ли научить нейронную сеть рисовать картинку в определенном стиле? (Таким образом, он берет изображение и перерисовывает его в стиле, для которого он был обучен.) Есть ли одобренная технология для такого рода вещей? Я знаю об алгоритме DeepArt. Хорошо заполнить основное изображение определенным рисунком (например, vangoghify image), но я ищу …

10 machine-learning  neural-networks  deep-learning 

Я пытаюсь обучить глубокую нейронную сеть для классификации, используя обратное распространение. В частности, я использую сверточную нейронную сеть для классификации изображений, используя библиотеку Tensor Flow. Во время тренировок я испытываю какое-то странное поведение, и мне просто интересно, типично ли это, или я что-то делаю не так. Итак, моя сверточная нейронная …

10 machine-learning  classification  neural-networks  conv-neural-network  tensorflow 

В PCA, имеет ли значение, если мы выбираем главные компоненты обратной ковариационной матрицы ИЛИ, если мы отбрасываем собственные векторы ковариационной матрицы, соответствующие большим собственным значениям? Это связано с обсуждением в этом посте .

10 machine-learning  pca  computational-statistics 

Недавно я начал использовать перекрестную проверку сглаживания важности по Парето (PSIS-LOO), описанную в следующих статьях: Vehtari, A. & Gelman, A. (2015). Парето сгладил важность выборки. Препринт arXiv ( ссылка ). Вехтари А., Гельман А. и Габри Дж. (2016). Практическая оценка байесовской модели с использованием кросс-проверки без участия и WAIC. Препринт …

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

Машины опорных векторов с ядром радиально-базовой функции - это универсальный контролируемый классификатор. Хотя я знаю теоретические основы этих SVM и их сильные стороны, я не знаю случаев, когда они являются предпочтительным методом. Итак, существует ли класс проблем, для которых SVM RBF превосходят другие методы ML? (Либо с точки зрения оценки, …

10 machine-learning  logistic  classification  svm  random-forest 

В литературе по машинному обучению для представления распределения вероятностей часто используется функция softmax. Есть причина для этого? Почему не используется другая функция?

10 machine-learning  distributions  softmax 

В настоящее время я читаю технику визуализации t-SNE, и было упомянуто, что одним из недостатков использования анализа главных компонентов (PCA) для визуализации многомерных данных является то, что он сохраняет только большие попарные расстояния между точками. Значимые точки, которые находятся далеко друг от друга в многомерном пространстве, также будут появляться далеко …

10 machine-learning  data-visualization  pca  tsne 

Я читал: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Но я не могу понять, почему именно формула была построена такой, какая она есть. Что я делаю Понять: iDF должен на каком-то уровне измерять, как часто термин S появляется в каждом из документов, уменьшаясь в значении по мере того, как термин появляется чаще. С этой точки зрения …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

Мне было интересно, можно ли обучить SVM (скажем, линейный, чтобы упростить задачу) с использованием обратного распространения? В настоящее время я нахожусь в затруднительном положении, потому что я могу думать только о том, чтобы записать вывод классификатора как f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) Следовательно, когда мы пытаемся вычислить …

10 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

В разделе 7 статьи « Случайные леса» (Брейман, 1999) автор высказывает следующую гипотезу: «Adaboost - это случайный лес». Кто-нибудь доказал или опроверг это? Что было сделано, чтобы доказать или опровергнуть этот пост 1999 года?

10 machine-learning  random-forest  boosting