Статистика и большие данные

Для построения этой диаграммы я сгенерировал случайные выборки разного размера из нормального распределения со средним значением = 0 и sd = 1. Затем были рассчитаны доверительные интервалы с использованием альфа-срезов в диапазоне от 0,001 до 0,999 (красная линия) с помощью функции t.test (), вероятность профиля была рассчитана с использованием кода, …

18 r  confidence-interval  profile-likelihood 

Почти все, что я читал о линейной регрессии и GLM, сводится к следующему: где - не возрастающая или неубывающая функция а - параметр, который вы оценить и проверить гипотезы о. Существуют десятки функций связи и преобразований и чтобы сделать линейной функцией от .f ( x , β ) x β …

18 generalized-linear-model  nonlinear-regression  link-function 

Я разработчик программного обеспечения, работающий над системами A / B-тестирования. Я не обладаю достаточным опытом в области статистики, но последние несколько месяцев собираю знания. Типичный тестовый сценарий предполагает сравнение двух URL-адресов на веб-сайте. Посетитель посещает, LANDING_URLа затем случайным образом перенаправляется либо на, URL_CONTROLлибо URL_EXPERIMENTAL. Посетитель представляет собой образец, и условие …

18 power-analysis  ab-test  sequential-analysis  optimal-stopping 

Пусть . Информационная матрица Фишера определяется как:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Как я могу доказать, что информационная матрица Фишера является положительной полуопределенной?

18 inference  linear-algebra  fisher-information 

У меня есть вопрос новичка относительно центральной предельной теоремы (CLT): Мне известно, что CLT утверждает, что среднее значение случайных величин iid приблизительно нормально распределено (для , где - индекс слагаемых), или что стандартизированная случайная величина будет иметь стандартное нормальное распределение.nn → ∞n→∞n \to \inftyNnn Теперь закон большого числа гласит, что …

18 probability  normal-distribution  convergence  central-limit-theorem  law-of-large-numbers 

Я понимаю, что мы используем модели случайных эффектов (или смешанных эффектов), когда считаем, что некоторые параметры модели изменяются случайным образом в зависимости от некоторого фактора группировки. У меня есть желание подогнать модель, в которой ответ был нормализован и центрирован (не идеально, но довольно близко) по группирующему фактору, но независимая переменная …

18 mixed-model  random-effects-model  fixed-effects-model  lme4-nlme  intraclass-correlation 

Является ли ER более эффективной реализацией (что-то вроде Extreme Gradient Boostingповышения градиента) - важно ли различие с практической точки зрения? Существует пакет R, который их реализует. Это новый алгоритм, который преодолевает «универсальную» реализацию (пакет RandomForest от R) не только с точки зрения эффективности или также в некоторых других областях? Экстремальный …

18 r  machine-learning  algorithms  random-forest 

Я знаю, что одним из преимуществ смешанных моделей является то, что они позволяют задавать дисперсионно-ковариационную матрицу для данных (составная симметрия, авторегрессия, неструктурированная и т. Д.). Однако lmerфункция в R не позволяет легко определить эту матрицу. Кто-нибудь знает, какую структуру lmerиспользует по умолчанию и почему нет способа ее легко указать?

18 r  mixed-model  lme4-nlme  covariance-matrix 

Предположим, у вас была сумка с плитками, на каждой из которых была буква. Есть тайлы с буквой 'A', с 'B' и т. Д., И плитки с подстановочными знаками (у нас есть ). Предположим, у вас был словарь с конечным числом слов.NNnNANAn_ANВNВn_BN*N*n_*n = nA+ nВ+ … + NZ+ n*Nзнак равноNA+NВ+...+NZ+N*n = …

18 probability  games  combinatorics 

Мне нужно рассчитать выборочное расстояние Махаланобиса в R между каждой парой наблюдений в матрице ковариат n×pn×pn \times p . Мне нужно решение, которое является эффективным, то есть только n(n−1)/2n(n−1)/2n(n-1)/2 Е. Рассчитываются расстояний, и желательно, чтобы они были реализованы в C / RCpp / Fortran и т. Д. Я предполагаю, что …

18 r  algorithms  distance 

Я нашел ссылку в статье, которая выглядит так: Согласно Tabachnick & Fidell (1996), независимые переменные с двумерной корреляцией более 0,70 не должны включаться в множественный регрессионный анализ. Проблема: я использовал в дизайне множественной регрессии 3 переменные, коррелированные> 0,80, VIF около 0,2-2,3, Допуск ~ 4-5. Я не могу исключить ни одну …

18 correlation  multiple-regression  multicollinearity  partial-correlation 

Историю многих областей науки можно разделить на небольшое количество временных интервалов, которые часто начинаются с какого-то важного открытия. Но я никогда не видел ничего подобного в статистике. Очевидно, что есть несколько важных дат, которые можно рассматривать как отправные точки нового периода (Паскаль + Ферма, Байес, Пирсон, Тьюки, ..). Можем ли …

18 history 

Данный: Монета с неизвестным уклоном ppp (голова). Строго положительная вещественная a>0a>0a > 0 . Проблема: Генерация случайной переменной Бернулли со смещением papap^{a} . Кто-нибудь знает как это сделать? Например, когда aaa - положительное целое число, можно aaa раз перевернуть монету и посмотреть, все ли результаты были Головами: если они тогда …

18 sampling 

Здесь «усечение» подразумевает снижение точности случайных чисел, а не усечение последовательности случайных чисел. Например, если у меня есть действительно случайных чисел (взятых из любого распределения, например, нормальных, равномерных и т. Д.) С произвольной точностью, и я обрезаю все числа, так что в итоге я получаю набор из чисел, каждое из …

18 random-generation  measurement-error  truncation 

У меня есть данные временных рядов, и я использовал в качестве модели, чтобы соответствовать данным. является показателем случайная величина, либо 0 (когда я не вижу редкое событие) или 1 (когда я вижу редкое событие). На основании предыдущих наблюдений, которые у меня есть для , я могу разработать модель для используя …

18 time-series  forecasting  simulation