Статистика и большие данные

Я подгоняю набор данных с бинарным целевым классом по случайному лесу. В Python я могу сделать это либо randomforestclassifier, либо randomforestregressor. Я могу получить классификацию напрямую из randomforestclassifier или я могу сначала запустить randomforestregressor и вернуть набор оценочных баллов (непрерывное значение). Затем я могу найти предельное значение, чтобы вывести прогнозируемые …

11 python  random-forest 

Я прочитал эту подпись в газете и никогда не видел, чтобы AUC описывали таким образом где-либо еще. Это правда? Есть ли доказательство или простой способ увидеть это? На рис. 2 показана точность прогнозирования дихотомических переменных, выраженная в терминах площади под кривой рабочих характеристик приемника (AUC), которая эквивалентна вероятности правильной классификации …

11 classification  roc  auc 

Я пытаюсь понять, почему OLS дает необъективную оценку процесса AR (1). Рассмотрим В этой модели строгая экзогенность нарушается, т. е. и коррелируют, а и не коррелированы. Но если это правда, то почему следующий простой вывод не выполняется? утεтут-1εтPlim βytϵt=α+βyt−1+ϵt,∼iidN(0,1).yt=α+βyt−1+ϵt,ϵt∼iidN(0,1). \begin{aligned} y_{t} &= \alpha + \beta y_{t-1} + \epsilon_{t}, \\ \epsilon_{t} …

11 time-series  least-squares  bias  autoregressive  estimators 

Мой вопрос касается концептуальной разницы между Holt-Winters и ARIMA. Насколько я понимаю, Holt-Winters - это особый случай ARIMA. Но когда один алгоритм предпочтительнее другого? Возможно, Холт-Винтерс является инкрементным и поэтому служит встроенным (более быстрым) алгоритмом? Ждем некоторого понимания здесь.

11 time-series  arima  exponential-smoothing 

Я экспериментирую со ступенчатой ​​регрессией ради разнообразия в моем подходе к проблеме. Итак, у меня есть 2 вопроса: Каковы преимущества ступенчатой ​​регрессии? Каковы его конкретные сильные стороны? Что вы думаете о гибридном подходе, где вы используете ступенчатую регрессию для выбора объектов, а затем применяете регулярную регрессию, объединяя все выбранные объекты …

11 regression  feature-selection  stepwise-regression 

Для задачи обработки естественного языка (NLP) часто используют векторы word2vec в качестве вложения для слов. Тем не менее, может быть много неизвестных слов, которые не перехвачены векторами word2vec просто потому, что эти слова не видны достаточно часто в обучающих данных (многие реализации используют минимальное количество перед добавлением слова в словарь). …

11 natural-language  word2vec  lstm  word-embeddings 

Все в названии, имеет ли смысл использовать выборку объектов перед использованием случайного леса?

11 machine-learning  feature-selection  random-forest 

Я надеюсь, что кто-то может помочь с тем, что я считаю относительно простым вопросом, и я думаю, что знаю ответ, но без подтверждения он стал тем, в чем я просто не могу быть уверен. У меня есть данные подсчета в качестве переменной ответа, и я хочу измерить, как эта переменная …

11 r  binomial  proportion  glmm  lme4-nlme 

Я делаю предварительную обработку данных и собираюсь создать Convonets на моих данных после. Мой вопрос: скажем, у меня есть общие наборы данных со 100 изображениями, я вычислял среднее значение для каждого из 100 изображений, а затем вычитал его из каждого из изображений, затем делил его на набор обучающих и проверочных …

11 machine-learning  cross-validation  data-preprocessing 

Каковы наиболее приемлемые способы визуализации результатов независимого двух-выборочного t-теста? Чаще всего используется числовая таблица или какой-то сюжет? Цель состоит в том, чтобы случайный наблюдатель посмотрел на фигуру и сразу увидел, что они, вероятно, из двух разных групп населения.

11 data-visualization  t-test 

Рассмотрим модель AR ( ) (предполагая нулевое среднее значение для простоты):ппp ИксT= φ1Икст - 1+ … + ΦпИкст - р+ εTИксTзнак равноφ1ИксT-1+...+φпИксT-п+εT x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t Оценщик OLS (эквивалентный условному максимального правдоподобия) для является предвзятым, как отмечалось в недавнем потоке .φ : = …

11 time-series  maximum-likelihood  autoregressive  unbiased-estimator 

(довольно длинный пост, извините. Он включает в себя много дополнительной информации, поэтому не стесняйтесь переходить к вопросу внизу.) Введение: я работаю над проектом, в котором мы пытаемся определить влияние двоичной эндогенной переменной, , на непрерывный результат, . Мы придумали инструмент , который, по нашему убеждению, назначен случайным образом.x1x1x_1yyyz1z1z_1 Данные: сами …

11 econometrics  interpretation  binary-data  instrumental-variables 

Когда набор уравнений не может быть решен аналитически, тогда мы можем использовать алгоритм градиентного спуска. Но, похоже, существует также метод моделирования Монте-Карло, который можно использовать для решения задач, которые не имеют аналитических решений. Как определить, когда использовать градиентный спуск, а когда - Монте-Карло? Или я просто путаю термин «симуляция» с …

11 monte-carlo  gradient-descent 

XXXYYYaaamax ( X , Y ) X YP(max(X,Y)≤x)P(max(X,Y)≤x)P(\max(X,Y)\leq x)max(X,Y)max(X,Y)\max(X,Y)XXXYYY

11 normal-distribution  extreme-value 

Основная проблема Вот моя основная проблема: я пытаюсь кластеризовать набор данных, содержащий некоторые очень искаженные переменные со счетчиками. Переменные содержат много нулей и поэтому не очень информативны для моей процедуры кластеризации, которая, вероятно, будет алгоритмом k-средних. Хорошо, вы говорите, просто преобразуйте переменные, используя квадратный корень, блок-кокс или логарифм. Но так …

11 clustering  data-transformation  k-means  count-data  compositional-data