Вопросы с тегом «kernel-trick»

После выполнения анализа главных компонентов (PCA) я хочу спроецировать новый вектор на пространство PCA (т.е. найти его координаты в системе координат PCA). Я рассчитал PCA на языке R, используя prcomp. Теперь я должен быть в состоянии умножить свой вектор на матрицу вращения PCA. Должны ли главные компоненты в этой матрице …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Трюк ядра используется в нескольких моделях машинного обучения (например , SVM ). Впервые он был представлен в статье «Теоретические основы метода потенциальных функций в обучении распознаванию образов» в 1964 году. Определение Википедии говорит, что это способ использования алгоритма линейного классификатора для решения нелинейной задачи путем отображения исходных нелинейных наблюдений в …

20 machine-learning  kernel-trick 

Ковариационная функция Матерна обычно используется в качестве функции ядра в гауссовском процессе. Определяется так Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν(2ν−−√dρ)Cν(d)=σ221−νΓ(ν)(2νdρ)νKν(2νdρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} где ddd - функция расстояния (например, евклидово расстояние), ΓΓ\Gamma - гамма-функция, KνKνK_\nu - …

19 spatial  gaussian-process  kernel-trick 

В чем разница между выполнением линейной регрессии с помощью гауссовой радиальной базисной функции (RBF) и выполнением линейной регрессии с использованием гауссовского ядра?

18 regression  normal-distribution  kernel-trick 

В чем разница между Первичной , Двойственной и Ядровой Регрессией? Люди используют все три, и из-за разных обозначений, которые все используют в разных источниках, мне трудно следовать. Так может кто-нибудь сказать мне простыми словами, в чем разница между этими тремя? Кроме того, в чем могут быть некоторые преимущества или недостатки …

18 regression  kernel-trick  ridge-regression 

Я хочу реализовать алгоритм в статье, которая использует ядро ​​SVD для декомпозиции матрицы данных. Итак, я читал материалы о методах ядра, ядре PCA и т. Д. Но это все еще очень неясно для меня, особенно когда речь идет о математических деталях, и у меня есть несколько вопросов. Почему методы ядра? …

18 pca  svd  kernel-trick 

Если в ядре PCA я выберу линейное ядро , будет ли результат отличаться от обычного линейного PCA ? Решения принципиально отличаются или существует какое-то четко определенное отношение?K(x,y)=x⊤yK(x,y)=x⊤yK(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y

17 pca  kernel-trick 

Как я могу понять, что делает ядро ​​RBF в SVM? Я имею в виду, что понимаю математику, но есть ли способ почувствовать, когда это ядро ​​будет полезным? Будут ли результаты от kNN связаны с SVM / RBF, поскольку RBF содержит векторные расстояния? Есть ли способ почувствовать ядро ​​полинома? Я знаю, …

17 svm  kernel-trick 

Больше общего вопроса. Я использую rbf SVM для прогнозного моделирования. Я думаю, что моя текущая программа определенно нуждается в ускорении. Я использую Scikit Learn с грубым, чтобы точный поиск сетки + перекрестная проверка. Каждый запуск SVM занимает около минуты, но со всеми итерациями я все еще нахожу его слишком медленным. …

16 machine-learning  svm  predictive-models  scikit-learn  kernel-trick 

Я пытаюсь понять интуицию ядра SVM. Теперь я понимаю, как работает линейный SVM, благодаря чему создается линия принятия решений, которая разбивает данные как можно лучше. Я также понимаю принцип, лежащий в основе переноса данных в многомерное пространство, и то, как это может облегчить нахождение линейной линии принятия решений в этом …

15 machine-learning  svm  kernel-trick 

Часто говорят, что регрессия Гауссова процесса соответствует (GPR) байесовской линейной регрессии с (возможно) бесконечным количеством базисных функций. В настоящее время я пытаюсь понять это в деталях, чтобы понять, какие модели я могу выразить, используя GPR. Как вы думаете, это хороший подход, чтобы попытаться понять GPR? В книге « Гауссовские процессы …

14 gaussian-process  kernel-trick  basis-function 

Как доказать, что для радиальной базисной функции не существует конечномерного пространства признаковHтакого, что для некоторогоимеем?k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})HHHΦ:Rn→HΦ:Rn→H\Phi: \text{R}^n \to Hk(x,y)=⟨Φ(x),Φ(y)⟩k(x,y)=⟨Φ(x),Φ(y)⟩k(x, y) = \langle \Phi(x), \Phi(y)\rangle

14 machine-learning  svm  kernel-trick 

Недавно я узнал об использовании трюка Ядра, который отображает данные в пространства более высоких измерений в попытке линеаризовать данные в этих измерениях. Есть ли случаи, когда я должен избегать использования этой техники? Это просто вопрос поиска правильной функции ядра? Для линейных данных это, конечно, не полезно, но для нелинейных данных …

13 machine-learning  svm  kernel-trick  heuristic 

Кажется, есть много алгоритмов машинного обучения, которые полагаются на функции ядра. SVM и NN, чтобы назвать, но два. Итак, каково определение функции ядра и каковы требования для ее правильности?

13 svm  terminology  kernel-trick 

Как я могу доказать, что точечное произведение двух функций ядра является функцией ядра?

13 machine-learning  kernel-trick