Статистика и большие данные

Я хотел бы получить p-значение и величину эффекта независимой категориальной переменной (с несколькими уровнями) - то есть «в целом», а не для каждого уровня в отдельности, как нормальный вывод из lme4R. Это так же, как то, о чем люди сообщают при запуске ANOVA. Как я могу получить это?

28 r  hypothesis-testing  anova  mixed-model  lme4-nlme 

Я работаю над изучением вероятности и статистики, прочитав несколько книг и написав некоторый код, и, моделируя броски монет, я заметил нечто, что показалось мне слегка противоречащим наивной интуиции. Если вы подбрасываете чистую монету раз, соотношение голов и хвостов сходится к 1 при увеличении , как и следовало ожидать. Но с …

28 probability  computational-statistics 

[Первоначальный заголовок «Измерение подобия для деревьев иерархической кластеризации» был позже изменен @ttnphns, чтобы лучше отражать тему] Я выполняю ряд иерархических кластерных анализов на базе данных записей пациентов (например, аналогично http://www.biomedcentral.com/1471-2105/5/126/figure/F1?highres=y ) Я экспериментирую с разными мерами расстояния , разными весами параметров и разными иерархическими методами , чтобы понять их влияние …

28 r  clustering  distance-functions  similarities  dendrogram 

Рассмотрим независимых выборок S, полученных из случайной величины X, которая, как предполагается, следует усеченному распределению (например, усеченному нормальному распределению ) известных (конечных) минимальных и максимальных значений a и b, но неизвестных параметров μ и σ 2 . Если Х следовали неусеченной распределение, максимального правдоподобия оценок ц и σ 2 для …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

В чем разница между алгоритмами EM (ожидание максимизации) и градиентного подъема (или спуска)? Есть ли условия, при которых они эквивалентны?

28 gradient-descent  expectation-maximization 

Я использую glmnet для расчета оценок регрессии гребня. Я получил некоторые результаты, которые сделали меня подозрительным в том, что glmnet действительно делает то, что я думаю, что делает. Чтобы проверить это, я написал простой R-скрипт, в котором я сравниваю результат регрессии гребня, выполненного execute, и результат в glmnet, разница значительна: …

28 r  ridge-regression  glmnet 

Я пытаюсь понять, что означает предположение о независимых наблюдениях . Некоторые определения: «Два события независимы тогда и только тогда, когда ». ( Словарь статистических терминов )P(a∩b)=P(a)∗P(b)P(a∩b)=P(a)∗P(b)P(a \cap b) = P(a) * P(b) «возникновение одного события не меняет вероятность другого» ( Википедия ). «выборка одного наблюдения не влияет на выбор второго …

28 probability  sampling  multilevel-analysis  independence  assumptions 

Locked . Этот вопрос и его ответы заблокированы, потому что вопрос не по теме, но имеет историческое значение. В настоящее время он не принимает новые ответы или взаимодействия. Я понимаю, что этот вопрос довольно широкий, но мне интересно, какими должны быть решающие моменты при принятии решения о создании (или нет) …

28 r  software 

Я аспирант, развивающий интерес к статистике. Мне нравится материал в целом, но мне иногда трудно думать о приложениях в реальной жизни. В частности, мой вопрос касается часто используемых статистических распределений (нормальное - бета-гамма и т. Д.). Я предполагаю, что в некоторых случаях я получаю особые свойства, которые делают распределение весьма …

28 normal-distribution  references  gamma-distribution  beta-distribution  application 

Я работаю с двумя независимыми нормальными дистрибутивами и , со средствами и и и .У μ х μ у σ 2 х σ 2 уИксИксXYYYμИксμИкс\mu_xμYμY\mu_yσ2ИксσИкс2\sigma^2_xσ2YσY2\sigma^2_y Я заинтересован в распределении их отношения . Ни ни не имеют среднего значения нуля, поэтому не распределяется как Коши.X Y ZZ= X/ YZзнак равноИкс/YZ=X/YИксИксXYYYZZZ Мне …

28 distributions  normal-distribution  references  mathematical-statistics  cdf 

Я надеюсь, что вы все не возражаете против этого вопроса, но мне нужна помощь в интерпретации выходных данных для выходных данных модели линейных смешанных эффектов, которые я пытался научиться делать в R. Я новичок в продольном анализе данных и регрессии линейных смешанных эффектов. У меня есть модель, которую я определяю …

28 r  mixed-model  interpretation  panel-data 

Что делать, если вы берете случайную выборку и видите, что она явно не репрезентативна, как в недавнем вопросе . Например, что, если предполагается, что распределение населения симметрично относительно 0, а выборка, которую вы выбираете случайным образом, имеет несбалансированные положительные и отрицательные наблюдения, а разбаланс является статистически значимым, что вас оставляет? …

28 sampling  experiment-design  inference  sample 

Я исследую метод автоматической проверки методов Монте-Карло цепей Маркова и хотел бы привести примеры ошибок, которые могут возникнуть при построении или реализации таких алгоритмов. Бонусные баллы, если в опубликованной статье использовался неправильный метод. Меня особенно интересуют случаи, когда ошибка означает, что цепочка имеет неправильное инвариантное распределение, хотя другие типы ошибок …

28 mcmc 

Я заинтересовался статистикой, но должен признать, что прошло много времени с тех пор, как я серьезно использовал математику. Иногда я понимаю, что означают уравнения, но иногда я не могу следовать им. Мне нравится ответ, приведенный здесь, который использует изображение со стрелкой: концептуальное понимание среднеквадратичной ошибки и среднего отклонения смещения . …

28 references 

Есть вопрос с похожим умыслом на программистов . SE . На этот вопрос есть несколько неплохих ответов, но общая тема, по-видимому, заключается в том, что без самостоятельного изучения вы не получите ничего. Очевидно, что между программированием и статистикой есть существенное различие - с программированием вы действительно просто изучаете некоторую базовую …

28 self-study  references  teaching