Вопросы с тегом «kernel-trick»

Многие классификаторы машинного обучения (например, машины опорных векторов) позволяют указывать ядро. Что было бы интуитивно понятным способом объяснить, что такое ядро? Один из аспектов, о котором я думал, - это различие между линейным и нелинейным ядрами. Проще говоря, я мог бы говорить о «линейных решающих функциях» и «нелинейных решающих функциях». …

98 machine-learning  svm  references  kernel-trick  intuition 

При использовании SVM нам нужно выбрать ядро. Интересно, как выбрать ядро. Какие-либо критерии выбора ядра?

96 machine-learning  svm  kernel-trick 

Я начинаю баловаться с использованием glmnetс LASSO регрессией , где мой результат представляет интерес дихотомический. Я создал небольшой фрейм данных ниже: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Есть несколько отличных способов использования: оценка плотности ядра трюк с ядром сглаживание ядра Пожалуйста, объясните, что «ядро» в них означает, простым языком, своими словами.

73 kernel-trick  kernel-smoothing 

Я читал о ядре PCA ( 1 , 2 , 3 ) с гауссовым и полиномиальным ядрами. Как ядро ​​Гаусса, по-видимому, исключительно хорошо разделяет любые нелинейные данные? Пожалуйста, дайте интуитивный анализ, а также, если возможно, математически сложный анализ. Какое свойство ядра Гаусса (с идеальной ), которого нет у других ядер? …

67 machine-learning  pca  svm  kernel-trick 

При использовании машины опорных векторов есть ли какие-либо рекомендации по выбору линейного ядра или нелинейного ядра, например, RBF? Я когда-то слышал, что нелинейное ядро ​​имеет тенденцию не работать хорошо, когда количество функций велико. Есть ли какие-либо ссылки на этот вопрос?

45 machine-learning  classification  svm  references  kernel-trick 

Какова интуиция, лежащая в основе того факта, что SVM с ядром Гаусса имеет бесконечномерное пространство признаков?

36 svm  feature-selection  kernel-trick 

Как доказать, что радиальная базисная функция k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})ядро? Насколько я понимаю, чтобы доказать это, мы должны доказать одно из следующего: Для любого набора векторов x1,x2,...,xnx1,x2,...,xnx_1, x_2, ..., x_n матрица K(x1,x2,...,xn)K(x1,x2,...,xn)K(x_1, x_2, ..., x_n) = (k(xi,xj))n×n(k(xi,xj))n×n(k(x_i, x_j))_{n \times n} неотрицательно. Отображение ΦΦ\Phi может быть представлен , например , как …

35 svm  kernel-trick 

Я видел людей, которые приложили много усилий к SVM и ядрам, и они выглядят довольно интересно, как начинающие в машинном обучении. Но если мы ожидаем, что почти всегда мы сможем найти превосходящее решение с точки зрения (глубокой) нейронной сети, каков смысл использования других методов в эту эпоху? Вот мое ограничение …

33 machine-learning  svm  kernel-trick  supervised-learning 

Я использую SVM для классификации и пытаюсь определить оптимальные параметры для линейных и RBF-ядер. Для линейного ядра я использую перекрестный проверенный выбор параметров, чтобы определить C, а для ядра RBF я использую поиск по сетке, чтобы определить C и гамму. У меня есть 20 (числовых) функций и 70 учебных примеров, …

32 classification  svm  kernel-trick 

Меня немного смущает разница между SVM и персептроном. Позвольте мне попытаться суммировать мое понимание здесь, и, пожалуйста, не стесняйтесь исправить, где я ошибаюсь, и заполнить то, что я пропустил. Перцептрон не пытается оптимизировать разделение «расстояния». Пока он находит гиперплоскость, которая разделяет два набора, это хорошо. SVM, с другой стороны, пытается …

29 machine-learning  svm  kernel-trick 

Может кто-нибудь подскажите пожалуйста разницу между ядрами в SVM: линейный многочлен Гауссовский (RBF) сигмоид Потому что, как мы знаем, ядро ​​используется для отображения нашего входного пространства в пространство пространственных объектов высокой размерности. И в этом пространстве признаков мы находим линейно отделимую границу .. Когда они используются (при каких условиях) и …

27 machine-learning  svm  pattern-recognition  kernel-trick 

В SVM ядро ​​Гаусса определяется как: где . Я не знаю явного уравнения \ phi . Я хочу это знать.K(x,y)=exp(−∥x−y∥222σ2)=ϕ(x)Tϕ(y)K(x,y)=exp⁡(−‖x−y‖222σ2)=ϕ(x)Tϕ(y)K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)x,y∈Rnx,y∈Rnx, y\in \mathbb{R^n}ϕϕ\phi Я также хочу знать ∑iciϕ(xi)=ϕ(∑icixi)∑iciϕ(xi)=ϕ(∑icixi)\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right) , где ci∈Rci∈Rc_i\in \mathbb R . Теперь я думаю, что это не равно, потому что использование ядра обрабатывает ситуацию, когда линейный …

24 machine-learning  svm  kernel-trick 

Почему люди используют методы квадратичного программирования (например, SMO) при работе с SVM с ядром? Что не так с градиентным спуском? Это невозможно использовать с ядрами или просто слишком медленно (и почему?). Здесь немного больше контекста: пытаясь немного лучше понять SVM, я использовал Gradient Descent для обучения линейного классификатора SVM, используя …

21 svm  kernel-trick  gradient-descent 

В контексте машинного обучения и распознавания образов существует концепция Kernel Trick . Перед лицом проблем, когда меня просят определить, может ли функция быть функцией ядра или нет, что именно нужно сделать? Должен ли я сначала проверить, имеют ли они форму трех или четырех функций ядра, таких как полином, RBF и …

21 machine-learning  kernel-trick