Статистика и большие данные

Я сейчас читаю «Путь пьяницы» и не могу понять из этого ни одной истории. Здесь это идет: Представьте, что Джордж Лукас снимает новый фильм «Звездные войны» и на одном тестовом рынке решает провести сумасшедший эксперимент. Он выпускает идентичный фильм под двумя названиями: «Звездные войны: Эпизод A» и «Звездные войны: Эпизод …

23 probability  bernoulli-distribution 

Недавно возник вопрос, похожий на ML, касающийся обмена стека теорий, и я опубликовал ответ, рекомендующий метод Пауэлла, градиентный спуск, генетические алгоритмы или другие «алгоритмы приближения». В комментарии кто-то сказал мне, что эти методы являются «эвристикой», а не «алгоритмами аппроксимации» и часто не приближаются к теоретическому оптимуму (потому что они «часто …

23 machine-learning  optimization  approximation 

Какова семантическая разница между среднеквадратичной ошибкой (MSE) и среднеквадратичной ошибкой (MSPE)?

23 regression  estimation  interpretation  error  prediction 

Этим утром я проснулся с удивлением (это могло быть связано с тем, что прошлой ночью я не выспался): поскольку перекрестная проверка, кажется, является краеугольным камнем правильного прогнозирования временных рядов, какие модели мне следует «обычно» "перекрестная проверка против? Я придумал несколько (простых), но вскоре понял, что это все, кроме особых случаев …

23 time-series  cross-validation  arima 

Я использую JMP для изучения различий в растительном покрове в группах форм роста (деревья, кустарники, кустарники и т. Д.) До и после трех обработок с контролем. Размер моей выборки небольшой (n = 5), и большинство моих дистрибутивов обычно не распространяются. Для нормального распределения я использовал ANOVA для анализа различий (процентное …

23 multiple-comparisons  nonparametric  tukey-hsd 

Предположим, у меня есть прогностическая модель, которая выдает для каждого случая вероятность для каждого класса. Теперь я признаю, что есть много способов оценить такую ​​модель, если я хочу использовать эти вероятности для классификации (точность, отзыв и т. Д.). Я также признаю, что кривая ROC и область под ней могут использоваться …

23 data-visualization  classification  predictive-models  binary-data  calibration 

Если у меня есть многовариантный нормальный пример iid , и я определяю (что-то вроде расстояния Махаланобиса [в квадрате] от точки выборки до вектора с использованием матрицы для взвешивания), каково распределение (расстояние Махаланобиса до среднее значение с использованием выборочной ковариационной матрицы )?d 2 i ( b , A ) = ( …

23 multivariate-analysis  outliers 

Интересно, всегда ли есть максимизатор для какой-либо задачи оценки максимального (логарифмического) правдоподобия? Другими словами, есть ли какое-то распределение и некоторые его параметры, для которых у проблемы MLE нет максимизатора? Мой вопрос исходит от утверждения инженера о том, что функция стоимости (вероятность или логарифмическая вероятность, я не уверен, что предполагалось) в …

23 maximum-likelihood  optimization 

У меня есть матрица с двумя столбцами, которые имеют много цен (750). На изображении ниже я построил остатки следующей линейной регрессии: lm(prices[,1] ~ prices[,2]) Глядя на изображение, кажется, очень сильная автокорреляция остатков. Однако как я могу проверить, сильна ли автокорреляция этих остатков? Какой метод я должен использовать? Спасибо!

23 r  regression  correlation  autocorrelation 

Я участвую в конкурсах по прогнозному моделированию на Kaggle , TunedIt и CrowdAnalytix . Я считаю, что эти сайты являются хорошим способом "тренировки" для статистики / машинного обучения. Есть ли другие сайты, о которых я должен знать? Как вы относитесь к соревнованиям, на которых ведущий намеревается получить прибыль от представлений …

23 machine-learning  predictive-models 

Закрыто. Этот вопрос не по теме . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто в прошлом году . Я ищу информацию о том, как другие организуют свой код R и вывод. Моя текущая практика заключается в написании кода …

23 r  project-management 

Поскольку наука должна быть воспроизводимой, по определению растет признание того, что данные и код являются важным компонентом воспроизводимости, как обсуждалось на круглом столе в Йельском университете для совместного использования данных и кода . При рассмотрении рукописи для журнала, который не требует совместного использования данных и кода, могу ли я попросить, …

23 dataset  validation  reproducible-research  journals 

Выполняя исследование временных рядов в R, я обнаружил, что он arima предоставляет только значения коэффициентов и их стандартные ошибки для подобранной модели. Тем не менее, я также хочу получить р-значение коэффициентов. Я не нашел ни одной функции, обеспечивающей значение coef. Поэтому я хочу рассчитать его самостоятельно, но я не знаю …

23 r  time-series  chi-squared  arima  parametric 

Я выполняю множественный регрессионный анализ и не уверен, следует ли удалять выбросы в моих данных. Данные, которые меня беспокоят, отображаются на прямоугольниках SPSS в виде «кружков», однако звездочек нет (что заставляет меня думать, что они не такие уж «плохие»). Случаи, которые меня беспокоят, отображаются в таблице «Диагностика случаев» в выходных …

23 regression  outliers 

Я хочу создать две переменные. Один из них - двоичная переменная результата (скажем, успех / неудача), а другой - возраст в годах. Я хочу, чтобы возраст был положительно связан с успехом. Например, должно быть больше успехов в более высоких возрастных сегментах, чем в более низких. В идеале я должен быть …

23 correlation  random-variable  random-generation  binary-data