Статистика и большие данные

У меня есть две части многомерного набора данных, давайте назовем их trainи test. И я хочу построить модель, основанную на наборе данных поезда, а затем проверить ее на наборе тестовых данных. Количество кластеров известно. Я попытался применить кластеризацию k-средних в R, и я получил объект, который содержит центры кластеров: kClust …

14 r  clustering  k-means 

Я собираюсь использовать модель ARMA-GARCH для финансовых временных рядов, и мне было интересно, должен ли ряд быть стационарным до применения указанной модели. Я знаю, что для применения модели ARMA ряды должны быть стационарными, однако я не уверен в ARMA-GARCH, поскольку я включаю ошибки GARCH, которые подразумевают кластеризацию волатильности и непостоянную …

14 time-series  finance  arma 

У меня проблемы с пониманием проклятия размерности. В частности, я сталкивался с этим, когда делал scikit-learnурок по Python. Может кто-нибудь объяснить, пожалуйста, ниже в более простой форме? Извините, я пытался понять дольше всего и не могу понять, как они пришли к расчету количества обучающих примеров, чтобы получить эффективную оценку KNN? …

14 machine-learning 

Я пытался понять алгоритм Метрополиса-Гастингса, чтобы написать код для оценки параметров модели (т.е. е( х ) = а * хе(Икс)знак равноa*Иксf(x)=a*x ). Согласно библиографии алгоритм Метрополиса-Гастингса имеет следующие этапы: Сгенерировать YT∼ д( у| ИксT)YT~Q(Y|ИксT)Y_t \sim q(y|x^t) Икст + 1= { YT,ИксT,с вероятностьюρ ( хT, YT) ,с вероятностью1 - ρ ( …

14 mcmc  metropolis-hastings 

Мне интересно, может ли кто-нибудь сообщить мне, правильно ли я рассчитал доверительный интервал для разницы между двумя пропорциями. Размер выборки составляет 34, из которых 19 женщин и 15 мужчин. Следовательно, разница в пропорциях составляет 0,1176471. Я рассчитываю 95% доверительный интервал для разницы между -0.1183872 и 0.3536814. Поскольку доверительный интервал проходит …

14 r  confidence-interval 

В последнее время вопросы случайного просмотра вызвали у меня воспоминания о том, что один из моих профессоров несколько лет назад предупреждал об использовании коэффициентов в регрессионных моделях. Так что я начал читать об этом, что привело к Кронмал 1993 года. Я хочу убедиться, что я правильно интерпретирую его предложения о …

14 regression  modeling  interaction  weighted-regression  ratio 

Мне было просто интересно, если в регрессии Пуассона есть ошибка? Может ли регрессия Пуассона иметь случайные эффекты и ошибочный член? Я запутался в этом вопросе. В логистической регрессии нет термина ошибки, потому что ваша переменная результата является двоичной. Это единственная модель glm, у которой нет остаточного члена?

14 regression  mixed-model  generalized-linear-model  poisson-regression 

Представьте себе следующую схему: у вас есть 2 монеты, монета A, которая гарантированно будет честной, и монета B, которая может быть или не быть честной. Вас просят сделать 100 монетных бросков, и ваша цель - максимизировать количество голов . Ваша предварительная информация о монете B состоит в том, что она …

14 bayesian  decision-theory 

Может ли кто-нибудь помочь объяснить некоторые математические основы классификации в CART? Я смотрю, чтобы понять, как происходит два основных этапа. Например, я обучил классификатор CART на наборе данных и использовал тестовый набор данных, чтобы отметить его прогнозную производительность, но: Как выбрать начальный корень дерева? Почему и как формируется каждая отрасль? …

14 regression  classification  data-mining  cart 

У меня есть случайные величины Икс0, X1, … , XNИкс0,Икс1,...,ИксNX_0,X_1,\dots,X_n . Икс0Икс0X_0 имеет нормальное распределение со средним μ > 0μ>0\mu>0 и дисперсией 111 . Икс1, … , XNИкс1,...,ИксNX_1,\dots,X_n RVS нормально распределены со средним 000 и дисперсией 111 . Все взаимно независимы. Обозначим через ЕЕE событие, когда Икс0Икс0X_0 является наибольшим из …

14 probability  normal-distribution 

Я только начал учиться использовать Стэн и rstan. Если я не всегда был озадачен тем, как работают JAGS / BUGS, я думал, что вы всегда должны были определять какое-то предварительное распределение для каждого параметра в модели, из которой нужно извлечь. Похоже, что вам не нужно делать это в Stan на …

14 mcmc  prior  jags  graphical-model  stan 

Недавно я применил фильтр Калмана на простом примере измерения положения частиц со случайной скоростью и ускорением. Я обнаружил, что фильтр Калмана работает хорошо, но потом спросил себя, в чем разница между этим и просто скользящим средним? Я обнаружил, что если я использовал окно из примерно 10 выборок, то скользящая средняя …

14 smoothing  kalman-filter 

В моделировании климата вы ищете модели, которые могут адекватно отображать климат Земли. Это включает в себя показ полуциклических моделей: такие вещи, как южное колебание Эль-Ниньо. Но проверка модели обычно происходит в течение относительно коротких периодов времени, когда имеются достаточные данные наблюдений (последние ~ 150 лет). Это означает, что ваша модель …

14 time-series  model-comparison  fourier-transform  climate 

Я хотел бы знать разницу между групповым анализом данных и анализом смешанных моделей. Насколько мне известно, как данные панели, так и смешанные модели используют фиксированные и случайные эффекты. Если так, почему у них разные имена? Или они синонимы? Я прочитал следующий пост, который описывает определение фиксированного, случайного и смешанного эффекта, …

14 mixed-model  references  panel-data 

Есть ли хорошие обзоры (обзоры, книги) о различных применениях цепи Маркова Монте-Карло (MCMC)? Я видел Марковскую цепь Монте-Карло на практике , но эта книга кажется немного старой. Есть ли еще книги с обновлениями по различным приложениям MCMC в таких областях, как машинное обучение, компьютерное зрение и вычислительная биология?

14 machine-learning  mcmc  inference  references  application