Статистика и большие данные

В моем эконометрическом учебнике (Вводная эконометрика), посвященном МЖС, автор пишет: «SSR должен падать, когда добавляется еще одна объясняющая переменная». Почему это?

9 regression  optimization  econometrics  intuition  sums-of-squares 

У меня есть ежемесячные данные с 1993 по 2015 год, и я хотел бы сделать прогноз на этих данных. Я использовал пакет tsoutliers для определения выбросов, но я не знаю, как мне продолжать прогнозировать с моим набором данных. Это мой код: product.outlier<-tso(product,types=c("AO","LS","TC")) plot(product.outlier) Это мой вывод из пакета tsoutliers ARIMA(0,1,0)(0,0,1)[12] …

9 r  time-series  forecasting  arima  outliers 

Предположим, у меня есть эксперимент с двумя или более факторами. Создается общий ANOVA, а затем мы проводим два или более набора специальных тестов, скажем, многократных сравнений. Мой вопрос о том, какие большие и сколько семейств следует использовать в качестве основы для корректировки множественности этих специальных тестов. Примером является набор данных …

9 multiple-comparisons  post-hoc 

У меня есть (~ миллион) векторов признаков. Есть (~ миллион) бинарных объектов, но в каждом векторе только (~ тысяча) из них будет , остальные - . Я ищу пары векторов, которые имеют как минимум (~ сто) общих признаков ( в обоих). Количество таких пар имеет величину, аналогичную (~ миллион).NNNMMMККK111000LLL111NNN Я …

9 algorithms  high-dimensional 

проблема Я хотел бы сделать некоторые выводы о системе, аналогичной смерти с неизвестным числом сторон. Матрица бросается несколько раз, после чего я хотел бы вывести распределение вероятностей по параметру, соответствующему количеству сторон, которые имеет матрица, θ. Интуиция Если после 40 бросков вы наблюдали 10 красных, 10 синих, 10 зеленых и …

9 r  probability  bayesian  jags 

Мой учебник перечисляет idf как гдел о г( 1 + NNT)log(1+Nnt)log(1+\frac{N}{n_t}) : количество документовNNN : количество документов, содержащих термин tNTntn_tttt Википедия перечисляет эту формулу в виде сглаженной версии фактического . Это один Я понимаю: она колеблется отлог(Нlog(Nnt)log(Nnt)log(\frac{N}{n_t})до∞,что кажется интуитивным. Нолог(1+Nlog(NN)=0log(NN)=0log(\frac{N}{N})=0∞∞\inftyпереходит отlog(1+1)к∞,что кажется странным ... Я немного знаю о сглаживании из …

9 text-mining  natural-language  smoothing 

Я использую lmer в R, чтобы проверить влияние условия ( cond) на некоторый результат. Вот некоторые составные данные, где s - идентификатор субъекта a, bи c- условия. library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, 1), b = rnorm(30, -3, 1), c = rnorm(30, -4, …

9 r  lme4-nlme  contrasts 

Я заметил, что Caffe (структура глубокого обучения) использовала Softmax Loss Layer в SoftmaxWithLoss качестве выходного слоя для большинства образцов модели . Насколько я знаю, слой Softmax Loss представляет собой комбинацию Multinomial Logistic Loss Layer и Softmax Layer . От Кафе они сказали, что Расчет градиента слоя потерь Softmax более численно …

9 multinomial  entropy  sums-of-squares  softmax 

Я пытался установить неравенство |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} где - среднее значение выборки, а - стандартное отклонение выборки, то есть S = \ sqrt {\ frac {\ sum_ {i = 1} ^ n \ left (X_i - \ bar {X} \ right) ^ 2} {n-1}} .X¯X¯\bar{X}SSSS=∑ni=1(Xi−X¯)2n−1−−−−−−−−−√S=∑i=1n(Xi−X¯)2n−1S=\sqrt{\frac{\sum_{i=1}^n \left( X_i …

9 self-study  descriptive-statistics  bounds 

Вопросов: Используются ли ненадлежащие линейные модели на практике, или же они время от времени описываются любопытством в научных журналах? Если да, то в каких областях они используются? Есть ли другие примеры таких моделей? Наконец, будут ли правильные стандартные ошибки, , R 2 и т. Д., Взятые из OLS для таких …

9 regression  references  linear-model  robust 

Я читаю полезную статью в Википедии о повышении градиента ( https://en.wikipedia.org/wiki/Gradient_boosting ) и пытаюсь понять, как / почему мы можем аппроксимировать невязки с помощью шага наискорейшего спуска (также называемого псевдоградиентом). ). Кто-нибудь может дать мне интуицию о том, как самый крутой спуск связан / похож на остатки? Помощь очень ценится!

9 self-study  gradient-descent 

Я не совсем уверен, что именно VectorSource и VCorpus находятся в пакете 'tm'. Документация по ним неясна, кто-нибудь может заставить меня понять в простых терминах?

9 r  text-mining 

В моей области обычным способом построения парных данных является серия тонких наклонных отрезков, накладывающих их на медиану и КИ медианы для двух групп: Однако этот тип графика становится намного сложнее для чтения, так как количество точек данных становится очень большим (в моем случае у меня порядка 10000 пар): Уменьшение альфы …

9 generalized-linear-model  data-visualization  modeling  interpretation  paired-data 

Предположим, у меня есть урна, содержащая N различных цветов шаров, и каждый другой цвет может появляться разное количество раз (если есть 10 красных шаров, то также не обязательно должно быть 10 синих шаров). Если мы знаем точное содержимое урны до рисования, мы можем сформировать дискретное распределение вероятностей, которое сообщает нам …

9 probability  discrete-data  distributions 

Каковы некоторые альтернативы критерию хи-квадрат для категориальных переменных с таблицами больше 2 x 2 и ячейками с числом меньше 5, если я не хочу объединять классы?

9 chi-squared  fishers-exact