Статистика и большие данные

Я пытаюсь запустить байесовский логит на данных здесь . Я использую bayesglm()в armпакете в R. Кодирование достаточно просто: df = read.csv("http://dl.dropbox.com/u/1791181/bayesglm.csv", header=T) library(arm) model = bayesglm(PASS ~ SEX + HIGH, family=binomial(link="logit"), data=df) summary(model) дает следующий вывод: Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.10381 0.10240 1.014 0.311 SEXMale 0.02408 …

13 r  bayesian  p-value 

Моя команда и я хотели бы сделать презентацию для статистиков компании о полезности планирования экспериментов. Эти не статистики также являются нашими клиентами, и они обычно не консультируются с нами перед сбором своих данных. Знаете ли вы реальные примеры, которые бы хорошо иллюстрировали известную цитату Фишера: «Позвонить статистику после завершения эксперимента …

13 experiment-design 

Я хотел бы выполнить специальный тест TukeyHSD после моей двусторонней Anova с R, получив таблицу, содержащую отсортированные пары, сгруппированные по значительным различиям. (Извините за формулировку, я все еще новичок со статистикой.) Я хотел бы иметь что-то вроде этого: Итак, сгруппированы по звездам или буквам. Любая идея? Я протестировал функцию HSD.test()из …

13 r  anova  multiple-comparisons  post-hoc  tukey-hsd 

Предположим, у нас есть множество точек y={y1,y2,…,yN}y={y1,y2,…,yN}\mathbf{y} = \{y_1, y_2, \ldots, y_N \} . Каждая точка yiyiy_i генерируется с использованием распределения p(yi|x)=12N(x,1)+12N(0,10).p(yi|x)=12N(x,1)+12N(0,10). p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10). Чтобы получить апостериор дляxxxмы пишем p(x|y)∝p(y|x)p(x)=p(x)∏i=1Np(yi|x).p(x|y)∝p(y|x)p(x)=p(x)∏i=1Np(yi|x). p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i …

13 bayesian  mixture  posterior 

Я пытаюсь смоделировать некоторые данные, используя glmnetпакет в R. Допустим, у меня есть следующие данные training_x <- data.frame(variable1 = c(1, 2, 3, 2, 3), variable2 = c(1, 2, 3, 4, 5)) y <- c(1, 2, 3, 4, 5) (Это упрощение; мои данные намного сложнее.) Затем я использовал следующий код для …

13 r  glmnet 

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 7 лет назад . Исправление экзаменов, наверное, самая скучная задача учителя. Но нам может быть забавно собирать забавные статистические ответы на экзамены. Одна …

13 teaching  humor 

Тестирование на однородность является чем-то обычным, однако мне интересно, каковы методы сделать это для многомерного облака точек.

13 hypothesis-testing  uniform 

Я хочу вычислить коэффициенты для регрессии, которая очень похожа на логистическую регрессию (На самом деле логистическая регрессия с другим коэффициентом: когда может быть дано). Я думал об использовании GMM для вычисления коэффициентов, но я не уверен, какие условия момента я должен использовать.A1+e−(b0+b1x1+b2x2+…),A1+e−(b0+b1x1+b2x2+…), \frac{A}{1 + e^{- (b_0 + b_1 x_1 + …

13 logistic  generalized-moments 

Если у меня есть определенный набор данных, насколько разумно было бы инициализировать центры кластеров, используя случайные выборки этого набора данных? Например, предположим, я хочу 5 clusters. Я, 5 random samplesскажем, size=20%из оригинального набора данных. Могу ли я затем взять среднее значение каждой из этих 5 случайных выборок и использовать эти …

13 clustering  k-means  unsupervised-learning 

Вопрос заключается в том, что указано в заголовке: когда закон больших чисел не работает? Я имею в виду, в каких случаях частота события не будет стремиться к теоретической вероятности?

13 probability  mathematical-statistics  law-of-large-numbers 

Не стесняйтесь заменять «журналы» любым другим полезным порталом знаний. Я заинтересован в том, чтобы следить за новыми разработками в области машинного обучения с целью практического применения. Я не академик, стремящийся опубликовать свою собственную работу (по крайней мере, не в этой области), но я хочу знать о потенциальных новых алгоритмах или …

13 machine-learning  references 

Я пытаюсь делать прогнозы, используя модель случайного леса в R. Однако я получаю ошибки, так как некоторые факторы имеют разные значения в тестовом наборе, чем в обучающем наборе. Например, фактор Cat_2имеет значения 34, 68, 76и т. Д. В тестовом наборе, которые не отображаются в обучающем наборе. К сожалению, я не …

13 r  categorical-data  random-forest 

Я хотел бы получить концептуальное понимание среднеквадратичной ошибки (RMSE) и среднего отклонения смещения (MBD). Рассчитав эти показатели для моих собственных сравнений данных, я часто был озадачен, обнаружив, что RMSE высока (например, 100 кг), тогда как MBD низка (например, менее 1%). Более конкретно, я ищу ссылку (не онлайн), которая перечисляет и …

13 standard-deviation  bias 

Пусть Xβ=YXβ=YX\beta =Y . Мы не знаем , YYY точно, только его корреляции с каждым предиктором, XtYXtYX^\mathrm{t}Y . Обычное решение наименьших квадратов (OLS) - это и здесь нет проблем.β=(XtX)−1XtYβ=(XtX)−1XtY\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y Но предположим, что близок к единственному (мультиколлинеарность), и вам нужно оценить оптимальный параметр гребня. Все методы , кажется, нужны …

13 regression  multicollinearity 

Есть несколько математических работ, описывающих байесовское лассо, но я хочу протестировать правильный код JAGS, который я могу использовать. Может ли кто-нибудь опубликовать пример кода BUGS / JAGS, который реализует регуляризованную логистическую регрессию? Любая схема (L1, L2, Elasticnet) была бы отличной, но Лассо предпочтительнее. Мне также интересно, есть ли интересные альтернативные …

13 bayesian  logistic  lasso  jags  regularization