Статистика и большие данные

Я аспирант в области экспериментальной психологии, и я стараюсь улучшить свои навыки и знания о том, как анализировать мои данные. До пятого курса психологии я думал, что регрессионные модели (например, ANOVA) предполагают следующее: нормальность данных однородность дисперсии для данных и так далее Мои курсы бакалавриата заставляют меня полагать, что предположения …

12 regression  dataset  residuals  assumptions 

Кто-нибудь может подсказать, где можно получить результаты 10000 монетных бросков (то есть всех 10000 голов и хвостов), выполненных Джоном Керричем во время Второй мировой войны?

12 probability 

Есть ли явная разница между прогнозами в выборке и псевдо прогнозами вне выборки . И то, и другое подразумевается в контексте оценки и сравнения моделей прогнозирования.

12 forecasting  model-comparison  out-of-sample  in-sample 

Я изо всех сил пытаюсь найти способ вычислить значение p для области под характеристикой оператора приемника (ROC). У меня есть непрерывная переменная и результат диагностического теста. Я хочу посмотреть, является ли AUROC статистически значимым. Я нашел много пакетов, имеющих дело с кривыми ROC: pROC, ROCR, caTools, верификация, Epi. Но даже …

12 r  p-value  roc 

Я собираю очень большие выборки (> 1 000 000) категориальных данных каждый день и хочу, чтобы данные выглядели «существенно» по-разному в разные дни, чтобы обнаружить ошибки в сборе данных. Я подумал, что для этого пригодится тест на пригодность (в частности, G-тест). Ожидаемое распределение дается распределением предыдущего дня. Но, поскольку мои …

12 goodness-of-fit  large-data 

Я озадачен следующим утверждением: «Чтобы увеличить стандартное отклонение набора чисел, вы должны добавить значение, которое больше, чем одно стандартное отклонение от среднего значения» Что является доказательством этого? Я, конечно, знаю, как мы определяем стандартное отклонение, но эта часть мне как-то не хватает. Любые комментарии?

12 standard-deviation 

Я тестирую датчики положения дроссельной заслонки (TPS), которые продает мой бизнес, и печатаю график реакции напряжения на вращение вала дроссельной заслонки. TPS - это датчик вращения с диапазоном 90 °, а выходной сигнал подобен потенциометру с полным открытием, равным 5 В (или входным значением датчика), и начальным открытием, являющимся некоторым …

12 terminology 

Если у нас есть длинные временные ряды с высоким разрешением и большим количеством шума, часто имеет смысл объединять данные в более низкое разрешение (скажем, ежедневные или ежемесячные значения), чтобы лучше понять, что происходит, эффективно удаляя некоторые из шум. Я видел по крайней мере одну статью, которая затем применяет некоторую статистику …

12 time-series  aggregation 

Я сопоставил данные и использую модель смешанных эффектов логистической регрессии для оценки индивидуального уровня (условного) эффекта для предиктора интереса. Я знаю, что для стандартных маржинальных моделей логический вывод параметров модели с использованием теста Вальда согласуется с критериями отношения правдоподобия и оценки. Они обычно примерно одинаковы. Поскольку Вальд легко вычисляется и …

12 logistic  mixed-model  inference 

При использовании естественных (то есть ограниченных) кубических сплайнов созданные базовые функции являются в высокой степени коллинеарными, и при использовании в регрессии, по-видимому, они дают очень высокую статистику VIF (дисперсионный коэффициент инфляции), сигнализируя о мультиколлинеарности. Когда кто-то рассматривает случай модели для целей прогнозирования, это проблема? Кажется, что так будет всегда из-за …

12 multiple-regression  generalized-linear-model  predictive-models  multicollinearity  splines 

Более конкретно, почему тесты отношения правдоподобия имеют асимптотическое распределение если модели являются вложенными, но это уже не относится к моделям без вложенности? Я понимаю, что это следует из теоремы Уилкса, но, к сожалению, я не понимаю ее доказательства .χ2χ2\chi^2

12 likelihood-ratio  nested-models 

Пусть обозначает байесовский риск оценки относительно априора , пусть обозначает множество всех априоров в пространстве параметров , а обозначает множество все (возможно, рандомизированные) правила принятия решений.δ π Π Θ Δr(π,δ)r(π,δ)r(\pi, \delta)δδ\deltaππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta Статистическая интерпретация минимаксного неравенства Джона фон Неймана гласит, что supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ),supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ), \sup_{\pi\in\Pi} \inf_{\delta\in\Delta} r(\pi, \delta) \leq \inf_{\delta\in\Delta}\sup_{\pi\in\Pi} r(\pi, \delta), со …

12 bayesian  decision-theory  risk 

У меня сложилось впечатление, что функция lmer()в lme4пакете не производит p-значения (см. lmerP-значения и все такое ). Я использую MCMC сгенерированных значений р вместо как на этот вопрос: Значительный эффект в lme4смешанной модели и на этот вопрос: Не удается найти р-значения в выводе из lmer()в lm4пакете вR . Недавно я …

12 r  mixed-model  p-value  mcmc  lme4-nlme 

Если предполагается, что непараметрические тесты имеют меньшую мощность, чем их параметрические альтернативы, означает ли это, что если какой-либо параметрический тест не отклоняет нуль, то его непараметрическая альтернатива также не отвергает ноль? Как это может измениться, если предположения о параметрическом тесте не выполняются и тест все равно используется?

12 hypothesis-testing  nonparametric  parametric 

У меня есть код и вывод, и я хотел бы построить модель. Я не знаю, как построить модель, используя этот вывод: require("splines") x <- c(0.2, 0.23, 0.26, 0.29, 0.33, 0.46, 0.53 ) y <- c(0.211, 0.2026, 0.2034, 0.2167, 0.2177, 0.19225, 0.182) fit <- lm(y ~ ns(x,3)) summary(fit) Обратите внимание, что …

12 r  splines