Вопросы с тегом «feature-selection»

Есть несколько постов о том, как выбирать функции. Один из методов описывает важность функции на основе t-статистики. В R, varImp(model)примененном к линейной модели со стандартизованными характеристиками, используется абсолютное значение t-статистики для каждого параметра модели. Итак, в основном мы выбираем функцию на основе ее t-статистики, то есть, насколько точным является коэффициент. …

12 regression  p-value  feature-selection 

Поэтому я понимаю, что выбор переменной является частью выбора модели. Но из чего конкретно состоит выбор модели? Это больше, чем следующее: 1) выберите дистрибутив для вашей модели 2) выбрать объясняющие переменные,? Я спрашиваю об этом, потому что я читаю статью Burnham & Anderson: AIC против BIC, где они говорят об …

12 feature-selection  model-selection  aic  bic 

У меня есть набор данных, который представляет 1000 документов и все слова, которые появляются в нем. Таким образом, строки представляют документы, а столбцы представляют слова. Так, например, значение в ячейке обозначает время, когда слово встречается в документе(i,j)(i,j)(i,j)jjj . Теперь я должен найти «веса» слов, используя метод tf / idf, но …

12 r  data-mining  feature-selection 

Locked . Этот вопрос и его ответы заблокированы, потому что вопрос не по теме, но имеет историческое значение. В настоящее время он не принимает новые ответы или взаимодействия. Я очень плохо знаком с R. Я сейчас учусь машинному обучению. Очень жаль, если этот вопрос кажется очень простым. Я пытаюсь найти …

12 r  feature-selection 

Я пытаюсь понять, почему увеличение количества функций может снизить производительность. В настоящее время я использую классификатор LDA, который работает лучше в двух вариантах среди определенных функций, но хуже, когда смотрю на другие функции. Моя точность классификации выполняется с использованием стратифицированного 10-кратного xval. Существует ли простой случай, когда классификатор будет работать …

12 classification  feature-selection 

У меня есть данные с минимальным количеством функций, которые не меняются, и несколькими дополнительными функциями, которые могут измениться и оказать большое влияние на результат. Мой набор данных выглядит так: Особенности: A, B, C (всегда присутствует) и D, E, F, G, H (иногда присутствует) A = 10, B = 10, C …

12 machine-learning  feature-selection 

Примечание: этот вопрос является репостом, так как мой предыдущий вопрос пришлось удалить по юридическим причинам. Сравнивая PROC MIXED из SAS с функцией lmeиз nlmeпакета в R, я наткнулся на некоторые довольно запутанные различия. Более конкретно, степени свободы в разных тестах различаются между PROC MIXEDи lme, и я задавался вопросом, почему. …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Традиционный подход к выбору переменных заключается в поиске переменных, которые в наибольшей степени способствуют прогнозированию нового ответа. Недавно я узнал об альтернативе этому. При моделировании переменных, которые определяют эффект лечения, как, например, в клинических испытаниях фармацевтических препаратов, говорят, что переменная качественно взаимодействуетс лечением, если, если оставить другие вещи фиксированными, изменение …

12 regression  feature-selection 

Функциональное проектирование часто является важным компонентом машинного обучения (оно активно использовалось для победы в KDD Cup в 2010 году ). Тем не менее, я считаю, что большинство технических характеристик техники либо уничтожить любое интуитивное значение основных функций или очень специфичны для конкретного домена или даже определенных типов функций. Классическим примером …

12 predictive-models  feature-selection  feature-construction 

Я должен уменьшить количество переменных, чтобы провести кластерный анализ. Мои переменные сильно коррелированы, поэтому я подумал о проведении анализа факторов риска PCA (анализ основных компонентов). Однако, если я использую полученные результаты, мои кластеры не совсем корректны (по сравнению с предыдущими классификациями в литературе). Вопрос: Могу ли я использовать матрицу вращения …

12 clustering  pca  feature-selection  factor-analysis 

Я запрограммировал логистическую регрессию, используя алгоритм IRLS . Я хотел бы применить штраф LASSO для автоматического выбора правильных функций. На каждой итерации решается следующее: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Пусть λλ\lambda - неотрицательное действительное число. Я не наказываю перехват как предложено в Элементах. Статистическое обучение . То же самое для уже нулевых коэффициентов. …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

В сжатом восприятии есть теорема, гарантирующая, что имеет уникальное разреженное решение c (подробности см. В приложении).cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Есть ли аналогичная теорема для лассо? Если такая теорема существует, она не только гарантирует стабильность лассо, но и дает лассо …

12 regression  self-study  feature-selection  lasso  regularization 

У меня уже есть представление о плюсах и минусах регрессии гребня и LASSO. Для LASSO штрафной член L1 даст вектор разреженного коэффициента, который можно рассматривать как метод выбора признаков. Тем не менее, существуют некоторые ограничения для LASSO. Если функции имеют высокую корреляцию, LASSO выберет только одну из них. Кроме того, …

12 feature-selection  lasso  regularization  ridge-regression  elastic-net 

У меня есть данные с несколькими тысячами функций, и я хочу сделать рекурсивный выбор функций (RFE), чтобы удалить неинформативные. Я делаю это с помощью карета и РСЕ. Однако я начал думать, если я хочу получить наилучшее соответствие регрессии (например, случайный лес), когда мне следует выполнить настройку параметров ( mtryдля RF)? …

12 regression  feature-selection  random-forest  caret 

В обучении с подкреплением линейное приближение функции часто используется, когда присутствуют большие пространства состояний. (Когда поиск таблиц становится невозможным.) Форма значения с приближением линейной функции определяется какQ−Q−Q- Q(s,a)=w1f1(s,a)+w2f2(s,a)+⋯,Q(s,a)=w1f1(s,a)+w2f2(s,a)+⋯,Q(s,a) = w_1 f_1(s,a) + w_2 f_2(s,a) + \cdots, где - веса, а - характеристики.wiwiw_ififif_i Функции предопределены пользователем. У меня вопрос, как распределяются …

12 machine-learning  feature-selection  reinforcement-learning