Статистика и большие данные

Модульность графа определяется на его странице в Википедии . В другом посте кто-то объяснил, что модульность можно легко вычислить (и максимизировать) для взвешенных сетей, поскольку матрица смежности может содержать оцененные связи. Тем не менее, я хотел бы знать, будет ли это работать со знаковыми, значимыми ребрами, например, от -10 до …

11 clustering  data-visualization  networks  partitioning  modularity 

Я нашел очень полезное руководство по алгоритму EM . Пример и картинка из урока просто великолепны. Связанный вопрос о вычислении вероятностей, как работает максимизация ожидания? У меня есть еще один вопрос относительно того, как связать теорию, описанную в руководстве, с примером. На этапе E EM выбирает функцию которая нижние границы …

11 machine-learning  clustering  algorithms  natural-language 

Крис Чатфилд, чьи многочисленные качественные книги и газеты мне нравилось читать, в (1) дает следующий совет: Например, вероятно, следует сделать выбор между моделями временных рядов ARIMA с низкими и приблизительно равными значениями AIC, причем не в тех случаях, когда получается минимальный AIC, а в отношении тех, которые дают наилучшие прогнозы …

11 forecasting  model-selection  arima  aic 

Я хотел бы вручную зафиксировать определенный коэффициент, скажем, , затем подогнать коэффициенты ко всем остальным предикторам, сохраняя при этом β 1 = 1,0 в модели.β1=1.0β1=1.0\beta_1=1.0β1=1.0β1=1.0\beta_1=1.0 Как я могу добиться этого с помощью R? Я бы особенно хотел поработать с LASSO ( glmnet), если это возможно. В качестве альтернативы, как я …

11 r  multiple-regression  lasso  glmnet  constrained-regression 

Как мне объяснить обобщенные методы моментов и как это используется для не статистики? Пока что я пойду с этим: это то, что мы используем для оценки таких условий, как средние значения и вариации на основе собранных нами выборок. Как объяснить ту часть, где вы оцениваете вектор параметров, путем минимизации дисперсии?

11 generalized-moments  method-of-moments 

Я использовал метод извлечения магистральной сети, описанный в этой статье: http://www.pnas.org/content/106/16/6483.abstract По сути, авторы предлагают метод, основанный на статистике, который дает вероятность для каждого ребра в графе, что ребро могло произойти случайно. Я использую типичное статистическое значение отсечения 0,05. Я применял этот метод к нескольким реальным сетям, и, что интересно, …

11 probability  statistical-significance  data-visualization  graph-theory  networks 

Я пытаюсь вычислить среднее и стандартное отклонение от 2 процентилей для логнормального распределения. Я был успешным в выполнении расчета для нормального распределения с использованием X = mean + sd * Zи решения для среднего и сд. Я думаю, что мне не хватает уравнения, когда я пытаюсь сделать то же самое …

11 r  lognormal 

Я ищу бумагу, которая, я надеюсь, существует, но не знаю, есть ли она. Это может быть набор тематических исследований и / или аргумент из теории вероятностей о том, почему использование данных поперечного сечения для выведения / прогнозирования продольных изменений может быть плохой вещью (т.е. это не обязательно так, но может …

11 references  panel-data  inference  causality  cross-section 

Справочная информация: мне пришлось провести анализ данных для клиента (своего рода юриста), который был абсолютным новичком в статистике. Он спросил меня, что означает термин «статистическая значимость», и я действительно попытался объяснить это… но так как я не очень хорош в объяснении вещей, я потерпел неудачу;)

11 statistical-significance  inference  communication 

Я смотрю на распределение суммы квадратов Т-распределенных случайных величин с показателем хвоста . Где X - это rv, преобразование Фурье для , дает мне решение для квадрата до свертки . αα\alphaX2X2X^2F(t)F(t)\mathscr{F}(t)F(t)nF(t)n\mathscr{F}(t)^nF(t)=∫∞0exp(itx2)⎛⎝⎜⎜⎜(αα+x2)α+12α−−√ B(α2,12)⎞⎠⎟⎟⎟dxF(t)=∫0∞exp⁡(itx2)((αα+x2)α+12α B(α2,12))dx\mathscr{F}(t)=\int_0^{\infty } \exp \left(i\, t\, x^2\right)\left(\frac{\left(\frac{\alpha }{\alpha +x^2}\right)^{\frac{\alpha +1}{2}} }{\sqrt{\alpha }\ B\left(\frac{\alpha }{2},\frac{1}{2}\right)}\right) \, \mathrm{d}x При решение возможно, …

11 probability  sums-of-squares 

У нас есть данные с двоичным результатом и некоторыми ковариатами. Я использовал логистическую регрессию для моделирования данных. Просто простой анализ, ничего необычного. Предполагается, что конечным результатом будет кривая доза-эффект, где мы показываем, как изменяется вероятность для конкретного ковариата. Что-то вроде этого: Мы получили некоторую критику от внутреннего рецензента (не чисто …

11 regression  logistic  generalized-linear-model  binary-data 

Для таких статистиков, как я, очень трудно уловить идею VIметрики (вариации информации) даже после прочтения соответствующей статьи Марины Мелиа « Сравнение кластеризаций - расстояние, основанное на информации » (Journal of Multivariate Analysis, 2007). На самом деле, я не знаком со многими терминами кластеризации. Ниже приведен MWE, и я хотел бы …

11 r  clustering  validation  intuition 

Я нормально распределенные процессы , из которых я получаю небольшие образцы ( п , как правило , 10-30) , что я хочу использовать для оценки дисперсии. Но часто образцы находятся настолько близко друг к другу, что мы не можем измерить отдельные точки вблизи центра. У меня есть смутное понимание того, …

11 normal-distribution  estimation  rayleigh 

В простой линейной регрессии часто требуется проверить, выполнены ли определенные допущения, чтобы можно было сделать вывод (например, остатки обычно распределяются). Целесообразно ли проверять допущения, проверяя, нормально ли распределены установленные значения?

11 regression  residuals  diagnostic 

У меня случайная перехват логистической регрессии (из-за многократных измерений), и я хотел бы провести некоторую диагностику, особенно в отношении выбросов и влиятельных наблюдений. Я посмотрел на остатки, чтобы увидеть, есть ли наблюдения, которые выделяются. Но я также хотел бы взглянуть на что-то вроде расстояния Кука или DFFITS. Хосмер и Лемешоу …

11 mixed-model  outliers  glmm  cooks-distance