Вопросы с тегом «predictive-models»

При построении прогностической модели с использованием методов машинного обучения, какой смысл проводить исследовательский анализ данных (EDA)? Можно ли сразу перейти к генерации объектов и созданию вашей модели? Как важна описательная статистика, используемая в EDA?

23 machine-learning  predictive-models  descriptive-statistics  eda 

В вопросе, который я задал недавно , мне сказали, что это большое «нет-нет», экстраполировать с лессом. Но в последней статье Нейта Сильвера на FiveThirtyEight.com он обсуждал использование лессов для прогнозирования выборов. Он обсуждал специфику агрессивных и консервативных прогнозов с лессом, но мне любопытно, насколько правильно делать будущие прогнозы с лессом? …

23 time-series  forecasting  predictive-models  loess  politics 

Предположим, у меня есть прогностическая модель, которая выдает для каждого случая вероятность для каждого класса. Теперь я признаю, что есть много способов оценить такую ​​модель, если я хочу использовать эти вероятности для классификации (точность, отзыв и т. Д.). Я также признаю, что кривая ROC и область под ней могут использоваться …

23 data-visualization  classification  predictive-models  binary-data  calibration 

Я участвую в конкурсах по прогнозному моделированию на Kaggle , TunedIt и CrowdAnalytix . Я считаю, что эти сайты являются хорошим способом "тренировки" для статистики / машинного обучения. Есть ли другие сайты, о которых я должен знать? Как вы относитесь к соревнованиям, на которых ведущий намеревается получить прибыль от представлений …

23 machine-learning  predictive-models 

Каковы различия между порождающими и дискриминационными (дискриминантными) моделями (в контексте байесовского обучения и умозаключений)? и какое это имеет отношение к предсказанию, теории принятия решений или обучению без учителя?

22 bayesian  predictive-models  unsupervised-learning 

Ради простоты, скажем, я работаю над классическим примером писем со спамом / без спама. У меня есть набор из 20000 писем. Из них я знаю, что 2000 являются спамом, но у меня нет примеров писем, не являющихся спамом. Я хотел бы предсказать, являются ли оставшиеся 18000 спамом или нет. В …

21 machine-learning  predictive-models  unsupervised-learning  supervised-learning  semi-supervised 

Во многих приложениях машинного обучения так называемые методы дополнения данных позволили построить лучшие модели. Например, предположим, тренировочный набор из изображений кошек и собак. Вращением, зеркальным отображением, регулировкой контрастности и т. Д. Можно создавать дополнительные изображения из исходных.100100100 В случае изображений увеличение данных является относительно простым. Однако предположим (например), что у …

21 machine-learning  predictive-models  dataset  independence  data-augmentation 

Я пытаюсь собрать пакет сбора данных для сайтов StackExchange и, в частности, я застрял в попытке определить «самые интересные» вопросы. Я хотел бы использовать оценку вопроса, но убрать смещение из-за количества просмотров, но я не знаю, как к этому строго подходить. В идеальном мире я мог бы отсортировать вопросы, рассчитав …

20 data-mining  predictive-models 

Я посвятил много времени разработке методов и программного обеспечения для проверки прогностических моделей в традиционной статистической области. Внедряя больше байесовских идей в практику и обучая, я вижу некоторые ключевые отличия, которые следует принять Во-первых, байесовское прогнозирующее моделирование требует от аналитика тщательно продумать предыдущие распределения, которые могут быть адаптированы к возможностям-кандидатам, …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

Параметр скорости обучения ( ) в Gradient Boosting сокращает вклад каждой новой базовой модели - обычно мелкого дерева - который добавляется в серию. Было показано, что резко повышается точность набора тестов, что понятно, так как при меньших шагах минимум функции потерь может быть достигнут более точно. ν∈ [ 0 , …

19 machine-learning  data-mining  predictive-models  boosting  overfitting 

Для прогностического моделирования, нужно ли нам заниматься статистическими понятиями, такими как случайные эффекты и отсутствие независимости наблюдений (повторные измерения)? Например.... У меня есть данные из 5 кампаний прямой почтовой рассылки (проводившихся в течение года) с различными атрибутами и флагом для покупки. В идеале я бы использовал все эти данные вместе, …

19 machine-learning  predictive-models  repeated-measures  assumptions 

Я учусь в старших классах и работаю над проектом по программированию, но у меня нет большого опыта в области статистики и моделирования данных, кроме курса по статистике в старших классах, поэтому я немного растерялся. По сути, у меня есть достаточно большой список (предположим, он достаточно большой, чтобы соответствовать предположениям для …

19 probability  modeling  data-mining  predictive-models 

Контекст: Из вопроса об обмене стеками по математике (могу ли я построить программу) кто-то имеет набор точек и хочет подогнать к нему кривую, линейную, экспоненциальную или логарифмическую. Обычный метод состоит в том, чтобы начать с выбора одного из них (который определяет модель), а затем выполнить статистические вычисления.х - уИкс-Yx-y Но …

18 regression  predictive-models  model-selection  curve-fitting 

Давайте возьмем следующий пример: set.seed(342) x1 <- runif(100) x2 <- runif(100) y <- x1+x2 + 2*x1*x2 + rnorm(100) fit <- lm(y~x1*x2) Это создает модель y на основе x1 и x2, используя регрессию OLS. Если мы хотим предсказать y для данного x_vec, мы можем просто использовать формулу, которую мы получаем из …

18 r  regression  predictive-models  prediction-interval 

Я читал бесчисленные посты на этом сайте, которые невероятно против использования пошагового выбора переменных, используя любой критерий, будь то на основе p-значений, AIC, BIC и т. Д. Я понимаю, почему эти процедуры в целом достаточно плохи для выбора переменных. вероятно, знаменитый пост Ганга Ганга ясно показывает, почему; в конечном счете, …

17 forecasting  predictive-models  arima  aic  stepwise-regression