Статистика и большие данные

Асимптотические результаты не могут быть подтверждены компьютерным моделированием, потому что они являются утверждениями, включающими понятие бесконечности. Но мы должны иметь возможность почувствовать, что вещи действительно идут так, как нам подсказывает теория. Рассмотрим теоретический результат Итn → ∞п( | XN| >ϵ)=0,ε > 0ИтN→∞п(|ИксN|>ε)знак равно0,ε>0\lim_{n\rightarrow\infty}P(|X_n|>\epsilon) = 0, \qquad \epsilon >0 где ИксNИксNX_n …

9 mathematical-statistics  simulation  convergence  asymptotics 

Допустим, у меня есть набор данных с оценками по множеству пунктов вопросника, которые теоретически состоят из меньшего числа шкал, как в исследовании психологии. Я знаю, что общий подход здесь состоит в том, чтобы проверять надежность весов, используя альфа-версию Кронбаха или что-то подобное, затем агрегировать элементы в весах, чтобы сформировать оценки …

9 factor-analysis  reliability  psychometrics  cronbachs-alpha  scale-construction 

Я работаю над перекрестной проверкой прогноза моих данных с 200 субъектами и 1000 переменных. Меня интересует регрессия гребня, поскольку число переменных (которые я хочу использовать) больше, чем количество выборок. Поэтому я хочу использовать оценки усадки. Ниже приведены примеры данных: #random population of 200 subjects with 1000 variables M <- matrix(rep(0,200*100),200,1000) …

9 r  cross-validation  prediction  ridge-regression 

Я понимаю, что в модели деревьев повышения есть 3 параметра настройки, т.е. количество деревьев (количество итераций) параметр усадки количество разбиений (размер каждого составляющего дерева) У меня вопрос: для каждого из параметров настройки, как мне найти его оптимальное значение? А какой метод? Обратите внимание: параметр усадки и параметр количества деревьев работают …

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

Я подгоняю glmerмодель в lme4пакете R. Я ищу таблицу anova с показанным в ней значением p, но я не могу найти пакет, который подходит ей. Возможно ли сделать это в R? Модель, которая мне подходит, имеет форму: model1<-glmer(dmn~period*teethTreated+(1|fullName), family="poisson", data=subset(dataset, group=='Four times a year'), control=glmerControl(optimizer="bobyqa"))

9 r  anova  lme4-nlme  mixed-model 

У меня есть вопрос о том, как смоделировать текст поверх данных подсчета, в частности, как я могу использовать эту lassoтехнику для сокращения возможностей. Скажем, у меня есть N онлайн статей и количество просмотров страниц для каждой статьи. Я извлек 1-грамм и 2-грамм для каждой статьи, и я хотел провести регрессию …

9 poisson-distribution  lasso  glmnet  overdispersion  penalized 

У меня проблемы с интерпретацией графиков взаимодействия, когда есть взаимодействие между двумя независимыми переменными. Следующие графики с этого сайта: Здесь и - независимые переменные, а - зависимая переменная.B D VAAABBBDVDVDV Вопрос: есть взаимодействие и основной эффект , но нет основного эффектаBAAABBB Я могу видеть , что чем выше значение , …

9 data-visualization  interaction  interpretation 

Гранты часто требуют анализа мощности для поддержки предложенного размера выборки. В протеомике (и большей части -омики) есть 100–1000 функций / переменных, измеренных на 10 образцах (возможно, 100 с, но маловероятно). Кроме того, известно, что некоторые из этих единиц измерения (например, спектральные числа белков) обычно не распределены, и поэтому мы будем …

9 nonparametric  power-analysis 

У меня есть набор данных около 5000 функций. Для этих данных я сначала использовал тест Chi Square для выбора функции; после этого я получил около 1500 переменных, которые показали связь значимости с переменной отклика. Теперь мне нужно приспособить логистическую регрессию к этому. Я использую пакет glmulti для R (пакет glmulti …

9 r  logistic  generalized-linear-model  modeling  regression-strategies 

Вопрос говорит обо всем. Я читал, что нельзя обобщить KS до измерения, равного или большего, чем два , и что известные реализации, подобные этой в Числовых Рецептах , просто неверны. Не могли бы вы объяснить, почему это так?

9 kolmogorov-smirnov  bivariate  ecdf 

У меня есть функция, которая возвращает среднее время ожидания для веб-пользователя. Таким образом, он дает среднее время, в течение которого средний пользователь может оставаться на веб-странице, учитывая длину веб-ресурса в словах. Я хочу использовать эту функцию (и итоговое среднее значение) в сочетании с дистрибутивом для моделирования «среднего веб-пользователя», просматривающего Интернет. …

9 distributions 

Я ищу алгоритм линейной регрессии, который наиболее подходит для данных, чья независимая переменная (x) имеет постоянную ошибку измерения, а зависимая переменная (y) имеет ошибку, зависящую от сигнала. Изображение выше иллюстрирует мой вопрос.

9 regression  linear-model  measurement-error  measurement 

По умолчанию, когда мы используем glmфункцию в R, она использует метод итеративно перевешиваемых наименьших квадратов (IWLS), чтобы найти оценку максимального правдоподобия параметров. Теперь у меня есть два вопроса. Гарантируют ли оценки IWLS глобальный максимум функции правдоподобия? Основываясь на последнем слайде в этой презентации, я думаю, что нет! Я просто хотел …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

У меня есть эти данные: set.seed(1) predictor <- rnorm(20) set.seed(1) counts <- c(sample(1:1000, 20)) df <- data.frame(counts, predictor) Я провел пуассоновскую регрессию poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson") И отрицательная биноминальная регрессия: require(MASS) nb_counts <- glm.nb(counts ~ predictor, data = df) Затем я рассчитал для …

9 generalized-linear-model  residuals  negative-binomial  poisson-regression  dispersion 

Я хочу включить термин ИксИксx и его квадрат Икс2Икс2x^2 (переменные предиктора) в регрессию, потому что я предполагаю, что низкие значения ИксИксx положительно влияют на зависимую переменную, а высокие значения оказывают отрицательное влияние. Икс2Икс2x^2 должен захватить эффект более высоких значений. Поэтому я ожидаю, что коэффициент ИксИксx будет положительным, а коэффициент Икс2Икс2x^2 …

9 regression  multiple-regression  polynomial  centering