Статистика и большие данные

1. Проблема У меня есть некоторые измерения переменного ytyty_t , где t=1,2,..,nt=1,2,..,Nt=1,2,..,n , для которого у меня есть распределение fyt(yt)fyt(yt)f_{y_t}(y_t) полученное с помощью MCMC, которое для простоты я предполагаю, что это гауссиан среднего μtμt\mu_t и дисперсии σ2tσt2\sigma_t^2 . У меня есть физическая модель для этих наблюдений, скажем, g(t)g(t)g(t) , но …

13 time-series  mcmc  autoregressive  likelihood 

Допустим, у вас есть набор значений, и вы хотите знать, более ли вероятно, что они были выбраны из гауссова (нормального) распределения или из логнормального распределения? Конечно, в идеале вы должны были бы что-то знать о населении или об источниках экспериментальной ошибки, поэтому имели бы дополнительную информацию, полезную для ответа на …

13 normal-distribution  lognormal 

При выполнении перекрестной проверки в k-кратном размере я понимаю, что вы получаете метрики точности, указывая все сгибы, кроме одного, на один сгиб и делаете прогнозы, а затем повторяете этот процесс раз. Затем вы можете запустить метрики точности для всех ваших экземпляров (точность, отзыв,% классифицированы правильно), которые должны быть такими же, …

13 cross-validation 

Я использую модель логистической регрессии в форме: lmer(response~1+(1|site), family=binomial, REML = FALSE) Обычно я рассчитываю ICC на основе перехвата и остаточных отклонений, но сводка модели не включает остаточное отклонение. Как мне рассчитать это?

13 logistic  lme4-nlme  glmm 

Я хочу проверить выборочную корреляцию на значимость, используя p-значения, то естьrrr H0:ρ=0,H1:ρ≠0.H0:ρ=0,H1:ρ≠0.H_0: \rho = 0, \; H_1: \rho \neq 0. Я понял, что могу использовать z-преобразование Фишера для вычисления zobs=n−3−−−−−√2ln(1+r1−r)zobs=n−32ln⁡(1+r1−r)z_{obs}= \displaystyle\frac{\sqrt{n-3}}{2}\ln\left(\displaystyle\frac{1+r}{1-r}\right) и найти значение р по p=2P(Z>zobs)p=2P(Z>zobs)p = 2P\left(Z>z_{obs}\right) используя стандартное нормальное распределение. Мой вопрос: насколько велико должно быть чтобы …

13 correlation  sample-size  fisher-transform 

Для приблизительно нормально распределенных данных коробочные диаграммы - отличный способ быстро визуализировать медиану и распространение данных, а также присутствие любых выбросов. Однако для распределений с более тяжелыми хвостами многие точки показаны как выбросы, поскольку выбросы определяются как находящиеся вне фиксированного коэффициента IQR, и это, конечно, происходит намного чаще с распределениями …

13 r  distributions  data-visualization  data-transformation  ggplot2 

Я относительно знаком с различием между терминами статистика и параметр. Я вижу статистику как значение, полученное от применения функции к образцу данных. Однако большинство примеров параметров относятся к определению параметрического распределения. Типичным примером является среднее значение и стандартное отклонение для параметризации нормального распределения или коэффициентов и дисперсии ошибок для параметризации …

13 estimation  terminology  sample  population 

У меня есть набор значений и которые теоретически связаны экспоненциально:xxxyyy y=axby=axby = ax^b Одним из способов получения коэффициентов является применение натуральных логарифмов с обеих сторон и подгонка линейной модели: > fit <- lm(log(y)~log(x)) > a <- exp(fit$coefficients[1]) > b <- fit$coefficients[2] Другой способ получить это - использовать нелинейную регрессию, учитывая …

13 r  regression  linear-model  model-selection  nonlinear-regression 

Итак, я слышал, что было сказано, что не стоит выбирать один статистический тест на основе результатов другого. Это кажется странным для меня, хотя. Например, люди часто предпочитают использовать непараметрический тест, когда какой-то другой тест предполагает, что остатки обычно не распределяются. Этот подход кажется довольно широко принятым, но, похоже, не согласуется …

13 hypothesis-testing 

Предположим, у меня есть 80/20 раскол между наблюдениями моделирования / валидации. Я приспособил модель к набору данных моделирования, и меня устраивает ошибка, которую я вижу в наборе данных проверки. Прежде чем развернуть мою модель для оценки будущих наблюдений, уместно ли объединить валидацию с данными моделирования, чтобы получить обновленные оценки параметров …

13 regression  predictive-models  validation 

Я пытаюсь понять, как работает Random Forest. У меня есть представление о том, как строятся деревья, но я не могу понять, как Random Forest делает прогнозы на выборке из сумки. Может ли кто-нибудь дать мне простое объяснение, пожалуйста? :)

13 random-forest  prediction 

Я использую R-пакет Lavaan для оценки модели структурного уравнения. Допустим, модель состоит из 1 эндогенной манифестной переменной с 1 скрытой и 2 манифестными объясняющими переменными: group = {0,1} attitude1 = latent,scale age = respondent's age Тогда желаемая модель лавы (не работает): model <- ' attitude1 =~ att1 + att2 + …

13 r  interaction  sem  lavaan 

Имеет ли смысл стандартизация зависимой переменной в идентифицирующей группе? В следующем рабочем документе (замедление вырубки лесов в Legal Amazon; цены или политика ?, pdf ) используется стандартизированная зависимая переменная для анализа влияния общих изменений политики в Бразилии на вырубку лесов. Стандартизация осуществляется следующим образом: Yn e wя т= Yя т- …

13 regression  time-series  panel-data  standardization  fixed-effects-model 

У меня есть продольные данные о людях, и некоторые из них подвергались лечению, а другие - нет. Все люди находятся в выборке от рождения до 18 лет, и лечение происходит в каком-то возрасте между этими интервалами. Возраст лечения может отличаться в разных случаях. Используя сопоставление баллов предрасположенности, я хотел бы …

13 stata  panel-data  propensity-scores 

Я делаю регрессию, используя случайные леса для прогнозирования цен на основе нескольких атрибутов. Код написан на Python с использованием Scikit-learn. Как вы решаете, должны ли вы преобразовывать свои переменные, используя exp/ logперед тем, как использовать их для соответствия регрессионной модели? Обязательно ли это при использовании ансамблевого подхода, такого как Random …

13 regression  machine-learning  predictive-models  python  random-forest