Статистика и большие данные

В линейном регрессионном анализе мы анализируем выбросы, исследуем мультиколлинеарность, тестируем гетероскедастичность. Вопрос в том, есть ли порядок их применения? Я имею в виду, нужно ли сначала анализировать выбросы, а затем изучать мультиколлинеарность? Или поменять? Есть ли эмпирическое правило по этому поводу?

24 regression  multiple-regression  outliers 

Следующий код оценивает сходство между двумя временными рядами: set.seed(10) RandData <- rnorm(8760*2) America <- rep(c('NewYork','Miami'),each=8760) Date = seq(from=as.POSIXct("1991-01-01 00:00"), to=as.POSIXct("1991-12-31 23:00"), length=8760) DatNew <- data.frame(Loc = America, Doy = as.numeric(format(Date,format = "%j")), Tod = as.numeric(format(Date,format = "%H")), Temp = RandData, DecTime = rep(seq(1, length(RandData)/2) / (length(RandData)/2), 2)) require(mgcv) mod1 <- …

24 r  time-series  data-visualization  gam 

У меня есть две переменные: название лекарственного средства (DN) и соответствующие нежелательные явления (AE), которые находятся в отношении многих ко многим. Есть 33 556 наименований лекарств и 9 516 побочных эффектов. Размер выборки составляет около 5,8 миллиона наблюдений. Я хочу изучить и понять связь / отношения между DN и AE. …

24 r  categorical-data  data-visualization  large-data  association-measure 

Какой самый простой способ / метод для вычисления корреляции между двумя временными рядами, которые имеют одинаковый размер? Я думал о умножении и и сложении умножения. Так что, если это единственное число было положительным, можем ли мы сказать, что эти две серии взаимосвязаны? Однако я могу вспомнить некоторые примеры, когда линейно …

24 time-series 

Поэтому мне был задан вопрос, по каким оценкам центральные меры L1 (т.е. лассо) и L2 (т.е. регрессия гребня). Ответ L1 = медиана и L2 = среднее. Есть ли интуитивные рассуждения об этом? Или это должно быть определено алгебраически? Если да, то как мне это сделать?

24 lasso  regularization  loss-functions  ridge-regression 

Я ищу ссылку на статью, в которой была введена k-кратная перекрестная проверка (а не просто академическая справка по предмету). Возможно, это слишком далеко в глубине веков, чтобы однозначно определить самую первую статью, поэтому любые ранние статьи, в которых использовалась идея, были бы интересны. Самое раннее, что я знаю, это Лахенбрух …

24 cross-validation  references 

Я рецензирую статью, в которой есть следующий биологический эксперимент. Устройство используется, чтобы подвергать клетки различным величинам напряжения сдвига жидкости. По мере того как к клеткам прикладывается большее напряжение сдвига, большее их количество начинает отрываться от субстрата. На каждом уровне напряжения сдвига они подсчитывают количество клеток, которые остаются прикрепленными, и, поскольку …

24 r  logistic  multinomial 

У меня есть 17 лет (с 1995 по 2011) данных свидетельств о смерти, связанных со смертями от самоубийств для штата в США. Существует много мифологий о самоубийствах и месяцах / сезонах, большая часть которых противоречива, и литературы, которую я ' После проверки я не получил четкого представления о применяемых методах …

24 r  chi-squared  arima  count-data  seasonality 

Я использую тест ranksum для сравнения медианы двух образцов ( ) и обнаружили , что они значительно отличаются с: . Должен ли я с подозрением относиться к такому маленькому значению или мне следует отнести его к высокой статистической мощности, связанной с наличием очень большой выборки? Есть ли такая вещь, как …

24 hypothesis-testing  p-value  sample-size  power 

В настоящее время я работаю над проектом, в котором, как и всем нам, мне нужно понять, как выход связан с входом . Особенность в том, что данные выдаются мне по одному фрагменту за раз, поэтому я хочу обновлять свой анализ каждый раз, когда получаю новый . Я считаю, что это …

24 modeling  model-selection 

Многие клинические исследования основаны на неслучайных выборках. Однако большинство стандартных тестов (например, t-тесты, ANOVA, линейная регрессия, логистическая регрессия) основаны на предположении, что выборки содержат «случайные числа». Являются ли результаты действительными, если эти неслучайные образцы были проанализированы стандартными тестами? Спасибо.

24 sampling  randomness 

Существует ли связь между регрессией и линейным дискриминантным анализом (LDA)? Каковы их сходства и различия? Имеет ли какое-то значение, если есть два класса или более двух классов?

24 regression  logistic  discriminant-analysis  canonical-correlation  reduced-rank-regression 

Я пытаюсь перейти от использования ezпакета lmeдля повторных измерений ANOVA (как я надеюсь, я смогу использовать пользовательские контрасты с lme). Следуя совету из этого поста в блоге, я смог настроить одну и ту же модель, используя обе функции aov(как это делается ezпри запросе) и lme. Однако, в то время как …

24 r  anova  mixed-model  repeated-measures  lme4-nlme 

Примечание: я отправляю вопрос от моего бывшего студента, который не может публиковать сообщения самостоятельно по техническим причинам. Для данного iid образца Икс1, … , ХNИкс1,...,ИксNx_1,\ldots,x_n из распределения Вейбулла pdf еК( х ) = к хк - 1е- хКх > 0еК(Икс)знак равноКИксК-1е-ИксКИкс>0 f_k(x) = k x^{k-1} e^{-x^k} \quad x>0 есть ли …

24 optimization  missing-data  expectation-maximization  weibull  gumbel 

Промежуточный анализ представляет собой анализ данных в одном или нескольких временных точках до официального закрытия исследования с целью, например, возможно завершение исследования рано. Согласно Piantadosi, S. ( Клинические испытания - методологическая перспектива ): « Оценка эффекта лечения будет смещена, когда испытание прекращается на ранней стадии. Чем раньше будет принято решение, …

24 clinical-trials  bias