Статистика и большие данные

Ниже приведена номограмма, созданная из набора данных mtcars с пакетом rms для формулы: mpg ~ wt + am + qsec Сама модель кажется хорошей с R2 0,85 и P <0,00001 > mod Linear Regression Model ols(formula = mpg ~ wt + am + qsec, data = mtcars) Model Likelihood Discrimination …

10 regression  multiple-regression  data-visualization  predictive-models  regression-strategies 

Тестовая статистика Дарбины-Уотсон может лежать в безрезультатной области, где не возможно либо отклонить или не отвергнуть нулевую гипотезу (в данном случае, нулевой автокорреляции). Какие другие статистические тесты могут дать "неубедительные" результаты? Существует ли общее объяснение (хорошо машет рукой), почему этот набор тестов не может принять двоичное решение «отклонить» / «не …

10 hypothesis-testing  statistical-significance  decision-theory 

Я почти уверен, что уже видел следующий результат в статистике, но я не могу вспомнить, где. Если - положительная случайная величина и то когда , где - это КФР .E ( X ) < ∞ ε F - 1 ( 1 - ε ) → 0 ε → 0 + …

10 references  quantiles  cdf  moments 

У меня есть следующие простые векторы X и Y: > X [1] 1.000 0.063 0.031 0.012 0.005 0.000 > Y [1] 1.000 1.000 1.000 0.961 0.884 0.000 > > plot(X,Y) Я хочу сделать регрессию с использованием журнала X. Чтобы избежать получения журнала (0), я стараюсь положить +1 или +0,1 или …

10 r  regression  lognormal 

Я прошу прощения за небольшое злоупотребление терминологией; Надеюсь, станет понятно, что я имею в виду ниже. Рассмотрим случайную величину . Как среднее значение, так и медиана могут быть охарактеризованы критерием оптимальности: среднее значение - это число которое минимизирует , а медиана - это число, которое минимизирует . С этой точки …

10 mean  median 

В разделе 7 статьи « Случайные леса» (Брейман, 1999) автор высказывает следующую гипотезу: «Adaboost - это случайный лес». Кто-нибудь доказал или опроверг это? Что было сделано, чтобы доказать или опровергнуть этот пост 1999 года?

10 machine-learning  random-forest  boosting 

Итак, у меня есть двоичная модель, где - скрытая ненаблюдаемая переменная, а - наблюдаемая. определяет а - мой инструмент. Так что короче модель есть. Так как условия ошибки не являются независимыми, Я использую модель IV-пробита.y∗1y1∗y_1^*y1∈{0,1}y1∈{0,1}y_1 \in \{0,1\}y2y2y_2y1y1y_1z2z2z_2y∗1y2y1===δ1z1+α1y2+u1δ21z1+δ22z2+v2=zδ+v21[y∗>0]y1∗=δ1z1+α1y2+u1y2=δ21z1+δ22z2+v2=zδ+v2y1=1[y∗>0]\begin{eqnarray} y_1^*&=& \delta_1 z_1 + \alpha_1 y_2 + u_1 \\ y_2 &=& \delta_{21} z_1 …

10 maximum-likelihood  econometrics  probit 

Я понимаю, что предварительная подготовка используется, чтобы избежать некоторых проблем с обычным обучением. Если я использую обратное распространение, скажем, с помощью автоматического кодера, я знаю, что у меня возникнут проблемы со временем, потому что обратное распространение идет медленно, а также что я могу застрять в локальном оптимуме и не изучить …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

Представьте себе ситуацию: у нас есть исторические записи (20 лет) о трех шахтах. Увеличивает ли присутствие серебра вероятность обнаружения золота в следующем году? Как проверить такой вопрос? Вот пример данных: mine_A <- c("silver","rock","gold","gold","gold","gold","gold", "rock","rock","rock","rock","silver","rock","rock", "rock","rock","rock","silver","rock","rock") mine_B <- c("rock","rock","rock","rock","silver","rock","rock", "silver","gold","gold","gold","gold","gold","rock", "silver","rock","rock","rock","rock","rock") mine_C <- c("rock","rock","silver","rock","rock","rock","rock", "rock","silver","rock","rock","rock","rock","silver", "gold","gold","gold","gold","gold","gold") time <- seq(from = 1, …

10 r  time-series  hypothesis-testing  stochastic-processes 

У меня есть матрица X размером , содержащая мои N = 20 выборок в D = 100- мерном пространстве. Теперь я хочу написать свой собственный анализ основных компонентов (PCA) в Matlab. Сначала я унижаю X до X 0 .20×10020×10020\times100XXXN=20N=20N=20D=100D=100D=100XXXX0X0X_0 Я читал из чьего-то кода, что в таких сценариях, где у …

10 pca 

Я аналитик в области финансов и страхования, и всякий раз, когда я пытаюсь соответствовать моделям волатильности, я получаю ужасные результаты: остатки часто нестационарны (в смысле единичного корня) и гетероскедастичны (поэтому модель не объясняет волатильность). Возможно, модели ARCH / GARCH работают с данными другого типа? Отредактировано 17/04/2015 15:07 для уточнения некоторых …

10 time-series  garch  volatility-forecasting  arch 

Я выполняю специальные тесты на линейной модели смешанных эффектов в R( lme4пакет). Я использую multcompпакет ( glht()функцию) для выполнения специальных тестов. Мой экспериментальный дизайн - повторные измерения со случайным эффектом блока. Модели указаны как: mymod <- lmer(variable ~ treatment * time + (1|block), data = mydata, REML = TRUE) Вместо …

10 mixed-model  post-hoc  lsmeans  lme4-nlme 

Как предлагается в заголовке. Предположим, что X1,X2,…,XnX1,X2,…,XnX_1, X_2, \dotsc, X_n - непрерывные случайные величины с pdf fff . Рассмотрим случай, когда X1≤X2…≤XN−1>XNX1≤X2…≤XN−1>XNX_1 \leq X_2 \dotsc \leq X_{N-1} > X_N , N≥2N≥2N \geq 2 , поэтому NNN - это когда последовательность уменьшается в первый раз. Тогда каково значение E[N]E[N]E[N] ? Я …

10 probability  self-study  iid 

Я новичок в проблеме множественных сравнений. Интересно, как рассчитать доверительные интервалы для метода Холма-Бонферрони? Я знаю, что для метода Бонферрони мы можем просто изменить уровень достоверности с на .1 - α1-α1-\alpha1 - αм1-αм1-\frac{\alpha}{m} Этот метод также работает для Холма-Бонферрони? E d i t :ЕdяT:\bf{Edit}: кажется, что метод HB не предоставляет …

10 multiple-comparisons  bonferroni 

Недавно я узнал о замечательном PCA, и я сделал пример, изложенный в документации scikit-learn . Мне интересно знать, как я могу применить PCA к новым точкам данных для целей классификации. После визуализации PCA в двухмерной плоскости (ось x, y) я вижу, что, вероятно, могу нарисовать линию, чтобы отделить точки данных, …

10 classification  pca  scikit-learn