Статистика и большие данные

В социальной науке часто возникает мысль о том, что переменные, которые должны быть распределены каким-либо образом, скажем, нормально, в конечном итоге имеют разрыв в распределении вокруг определенных точек. Например, если существуют определенные ограничения, такие как «прохождение / отказ» и если эти меры подвержены искажениям, в этой точке может быть разрыв. …

10 normal-distribution  pdf 

Вдохновленный этим вопросом и конкретной «проблемой 3»: Апостериорные распределения несколько сложнее включить в метаанализ, если только не было предоставлено частичное параметрическое описание распределения. В последнее время я много думал о включении метаанализа в байесовскую модель - в первую очередь, в качестве источника приоры - но как это сделать в другом …

10 bayesian  meta-analysis 

В свое свободное время я работаю над небольшой веб-системой, которая собирает отчеты о сбоях (но не о других, не сообщающих об ошибках), отправляемых из приложений Delphi для Windows. Для устранения неполадок пользователи хотели бы иметь функцию интеллектуального анализа данных, чтобы найти взаимосвязи между версиями оборудования или операционной системы и конкретной …

10 data-mining 

Я создал несколько моделей регрессии Кокса, и мне хотелось бы посмотреть, насколько хорошо работают эти модели, и я подумал, что, возможно, ROC-кривая или c-статистика могут быть полезны, как в этой статье: JN Armitage och JH van der Meulen, «Идентификация сопутствующей патологии у хирургических пациентов с использованием административных данных с помощью …

10 r  survival  roc 

Размышляя о предположительно простой, но интересной проблеме, я хотел бы написать код для прогнозирования расходных материалов, которые мне понадобятся в ближайшем будущем, учитывая полную историю моих предыдущих покупок. Я уверен, что проблема такого рода имеет более общее и хорошо изученное определение (кто-то предположил, что это связано с некоторыми понятиями в …

10 time-series  machine-learning  forecasting 

Я месяцами работал над краткосрочным прогнозированием нагрузки и использованием климатических / погодных данных для повышения точности. У меня есть опыт работы в области компьютерных наук, и поэтому я стараюсь не делать больших ошибок и несправедливых сравнений, работая с инструментами статистики, такими как модели ARIMA. Я хотел бы знать ваше мнение …

10 time-series  forecasting  arima 

В своем исследовании я столкнулся со следующей общей проблемой: у меня есть два распределения и в одной и той же области и большое (но конечное) число выборок из этих распределений. Выборки независимо и идентично распределяются из одного из этих двух распределений (хотя распределения могут быть связаны: например, может быть смесью …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

У меня было достаточно курсов по статистике в школьные годы и в университете. У меня есть четкое понимание таких понятий, как CI, p-значения, интерпретация статистической значимости, множественное тестирование, корреляция, простая линейная регрессия (с наименьшими квадратами) (общие линейные модели) и все проверки гипотез. Я познакомился с ним большую часть ранних дней …

10 bayesian  references  maximum-likelihood  generalized-linear-model 

Я пытаюсь понять расчет мощности для случая двух независимых выборочных t-тестов (не предполагая равных отклонений, поэтому я использовал Satterthwaite). Вот диаграмма, которую я нашел, чтобы помочь понять процесс: Итак, я предположил, что, учитывая следующее о двух популяциях и размер выборки: mu1<-5 mu2<-6 sd1<-3 sd2<-2 n1<-20 n2<-20 Я мог бы вычислить …

10 power-analysis 

Может кто-нибудь уточнить, как скрытые марковские модели связаны с максимизацией ожиданий? Я перебрал много ссылок, но не смог получить четкое представление. Спасибо!

10 markov-process  expectation-maximization  hidden-markov-model 

У меня есть данные о численности различных рыб, взятых за период около 5 лет, но в очень нерегулярном порядке. Иногда между образцами существуют месяцы, иногда за один месяц. Есть также много 0 отсчетов Как бороться с такими данными? Я могу представить это достаточно легко в R, но графики не особенно …

10 time-series  multilevel-analysis  unevenly-spaced-time-series 

Трудно сказать, что здесь спрашивают. Этот вопрос является двусмысленным, расплывчатым, неполным, чрезмерно широким или риторическим, и на него нельзя дать разумный ответ в его нынешней форме. Чтобы получить разъяснения по этому вопросу, чтобы его можно было снова открыть, посетите справочный центр . Закрыто 7 лет назад . У меня есть …

10 nonlinear-regression  goodness-of-fit  deviance 

У меня есть корреляционных матриц вычисленных с помощью наборов данных (наблюдаемых) с использованием функции MATLAB .ппP( n × n )(N×N)(n \times n)ппP( м × н )(м×N)(m \times n)corrcoef Как сравнить и проанализировать эти матрицы корреляции по отношению друг к другу?ппP Какие тесты, методы и / или контрольные точки?

10 correlation  matlab  matrix 

По (слабому / сильному) закону больших чисел, учитывая некоторые точки выборки iid распределения, их выборка означает сходится к среднему значению распределения как по вероятности, так и как размер выборки уходит в бесконечность.{xi∈Rn,i=1,…,N}{xi∈Rn,i=1,…,N}\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}f∗({xi,i=1,…,N}):=1N∑Ni=1xif∗({xi,i=1,…,N}):=1N∑i=1Nxif^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i NNN Когда размер выборки NNN фиксирован, мне интересно, является ли оценка LLN …

10 estimation  expected-value  law-of-large-numbers 

Я использую SVM для прогнозирования диабета. Я использую набор данных BRFSS для этой цели. Набор данных имеет размеры и искажен. Процент s в целевой переменной составляет тогда как s составляют оставшиеся .432607 × 136432607×136432607 \times 136Y11 %11%11\%N89 %89%89\% Я использую только 15из 136независимых переменных из набора данных. Одна из причин …

10 r  classification  svm  feature-selection  e1071