Статистика и большие данные

Пожалуйста, смотрите редактировать. Когда у вас есть данные с тяжелыми хвостами, выполнение регрессии с ошибками Student-T кажется интуитивно понятным. Исследуя эту возможность, я наткнулся на эту статью: Breusch, TS, Robertson, JC, & Welsh, AH (01 ноября 1997 г.). Новая одежда императора: критика многомерной регрессионной модели. Statistica Neerlandica, 51, 3.) ( …

10 regression  mathematical-statistics  modeling  robust 

Размышления о вероятности всегда заставляют меня понять, насколько я плох в подсчете ... Рассмотрим последовательность из базовых букв , каждый из которых имеет одинаковую вероятность. Какова вероятность того, что эта последовательность содержит конкретную последовательность пар оснований, представляющих интерес длины ?nnnA,T,C, and GA,T,C, and GA,\; T, \; C, \text{ and } …

10 probability  combinatorics 

Предположим, у нас есть две выборки, и мы хотим определить, взяты ли они из одного и того же распределения, причем выборки A, B состоят из нескольких целых чисел. Если мы проверим это с помощью теста перестановки с двумя выборками, в частности, рассмотрим перестановки, где различия в значениях выборок столь же …

10 permutation-test 

У меня есть временной ряд (скажем, от до ), и мне нужно предсказать следующую выборку (скажем, ) с использованием модели такие как нейронная сеть или множественная линейная регрессия. В момент n у меня есть вся выборка от до , и мне нужно предсказать ; в момент времени меня есть вся …

10 time-series  prediction-interval 

Традиционный подход к построению объектов для интеллектуального анализа текста - это подход «мешок слов», и его можно усовершенствовать с помощью tf-idf для настройки вектора объектов, характеризующего данный текстовый документ. В настоящее время я пытаюсь использовать модель языка биграмм или (N-грамм) для построения векторного элемента, но не совсем знаю, как это …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

Предельная модель учитывает корреляции внутри каждого кластера. Условная модель также учитывает корреляцию в пределах каждого кластера. Мои вопросы: Моделирует ли маргинальная модель основные эффекты в популяции, тогда как условная модель моделирует основные эффекты в кластере и в популяции? Интерпретация коэффициентов маржинальной модели в основном такая же, как «регулярная модель». Но …

10 repeated-measures  interpretation  regression-coefficients  marginal-model 

У меня есть несколько распределений (10 распределений на рисунке ниже). Фактически это гистограммы: на оси x имеется 70 значений, которые представляют собой размеры некоторых частиц в растворе, и для каждого значения x соответствующее значение y представляет собой долю частиц, размер которых составляет около значения x. Я хотел бы сгруппировать эти …

10 clustering 

Я пытаюсь найти корреляцию между дихотомической и непрерывной переменной. Исходя из моей основной работы по этому вопросу, я обнаружил, что должен использовать независимый t-критерий, и предварительным условием для этого является то, что распределение переменной должно быть нормальным. Я выполнил тест Колмогорова-Смирнова для проверки нормальности и обнаружил, что непрерывная переменная является …

10 normal-distribution  categorical-data  continuous-data  kolmogorov-smirnov  association-measure 

С учетом множественных сгибов перекрестной проверки логистической регрессии и полученных в результате множественных оценок каждого коэффициента регрессии, как следует измерить, является ли предиктор (или набор предикторов) стабильным и значимым на основе коэффициента (ов) регрессии ? Отличается ли это для линейной регрессии?

10 regression  model-selection  cross-validation 

У меня есть прототип машины, производящей детали. В первом тесте машина производит деталей, и двоичный классификатор говорит мне, что детали неисправны ( , обычно и ), а детали хороши.d 1 d 1 < N 1 d 1 / N 1 < 0,01 N 1 ≈ 10 4 N 1 - …

10 hypothesis-testing  statistical-significance  classification  proportion 

У меня вопрос, есть ли хорошие онлайн-материалы для изучения этого. Что-то, что хорошо знакомит, особенно модели ARMA и связанная математика. Изменить: я ищу что-то высокого уровня бакалавриата. Что-то вроде Броквелла и Дэвиса « Введение во временные ряды и прогнозирование»

10 time-series  references  arma 

Например, я пытаюсь сгруппировать строки о программировании с другими строками о программировании, строки о физике с другими строками о физике и т. Д. По широкому кругу тем. Несмотря на вопиющий теоретический лингвистический аспект проблемы, я собираюсь сделать это с помощью программирования / программного обеспечения. Краткое изложение: Учитывая большое количество строк, …

10 natural-language  data-mining 

Я хочу сделать множественную линейную регрессию, а затем предсказать новые значения с небольшой экстраполяцией. У меня есть переменная ответа в диапазоне от -2 до +7 и три предиктора (диапазоны от +10 до +200). Распределение почти нормальное. Но отношения между ответом и предикторами не являются линейными, я вижу кривые на графиках. …

10 regression  data-transformation 

Если я выбираю 232 человека из группы из 363 человек без замены, какова вероятность того, что 2 из списка из 12 конкретных людей будут включены в этот выбор? Это случайная ничья для ультра гонки, в которой было 363 участника на 232 места. Есть аргумент о том, был ли выбор предвзятым …

10 combinatorics  randomness  hypergeometric 

Мне трудно принять, что Дональд Рубин когда-либо придумал настоящий лимон техники. Тем не менее, это мое восприятие BESD [ 1 , 2 , 3 ]. В оригинальной статье Розенталя и Рубина (1982) утверждается, что было полезно показать, «как преобразовать любую корреляцию момента продукта в такой дисплей [2x2], являются ли исходные …

10 interpretation  effect-size