Статистика и большие данные

Я реализую Ridge Regression в модуле Python / C, и я столкнулся с этой "маленькой" проблемой. Идея заключается в том, что я хочу выбрать эффективные степени свободы, более или менее равномерно распределенные (например, график на странице 65 «Элементы статистического обучения» ), например: где - собственные значения матрицы из до \ …

17 ridge-regression 

Я ищу способ визуализации субъективных рейтингов, отдельно от моих непараметрических тестов. Я попросил 12 участников оценить 8 различных предметов в соответствии с различным субъективным критерием (отдельные оценки для каждого). Для любого индивидуального набора рейтингов я ищу хороший способ визуализации трендов высокого уровня рейтинга. Я пробовал графики как на столбцах, так …

17 data-visualization  nonparametric  excel  ranking 

Если у нас небольшой размер выборки, сильно ли повлияет предварительное распределение на последующее?

17 bayesian  sample-size  prior 

Робби Маккиллиам говорит в комментарии к этому сообщению: Следует отметить, что, с точки зрения частых, нет никаких причин, по которым вы не можете включить в модель предыдущие знания. В этом смысле представление «частых» проще: у вас есть только модель и некоторые данные. Нет необходимости отделять предшествующую информацию от модели Кроме …

17 bayesian  prior  regularization  frequentist 

Я хотел бы вычислить меру сходства между двумя упорядоченными наборами точек - теми, что под Пользователем, и теми, что под Учителем : Точки - это кривые в трехмерном пространстве, но я думал, что проблема упрощается, если я нанесу их в двух измерениях, как на картинке. Если точки перекрываются, сходство должно …

17 multiple-comparisons  similarities  curves  procrustes-analysis 

Я хотел бы видеть продолжение этой дискуссии о старом чи-кв против точных тестовых дебатов Фишера, немного расширяя сферу. Существует множество тестов на взаимодействие в таблице непредвиденных обстоятельств, которых достаточно, чтобы у меня закружилась голова. Я надеюсь получить объяснение того, какой тест я должен использовать и когда, и, конечно, объяснение того, …

17 r  chi-squared  contingency-tables 

Есть ли способ упростить это уравнение? (81)+(82)+(83)+(84)+(85)+(86)+(87)+(88)(81)+(82)+(83)+(84)+(85)+(86)+(87)+(88)\dbinom{8}{1} + \dbinom{8}{2} + \dbinom{8}{3} + \dbinom{8}{4} + \dbinom{8}{5} + \dbinom{8}{6} + \dbinom{8}{7} + \dbinom{8}{8} Или, в общем, ∑k=1n(nk)∑k=1n(nk)\sum_{k=1}^{n}\dbinom{n}{k}

17 combinatorics 

У меня есть два временных ряда: Прокси для премии за рыночный риск (ERP; красная линия) Безрисковая ставка по государственному облигации (синяя линия) Я хочу проверить, может ли безрисковая ставка объяснить ERP. Таким образом, я в основном последовал совету Цая (2010, 3-е издание, стр. 96): Финансовый временной ряд: Установите модель линейной …

17 regression  time-series 

У меня есть шесть зависимых переменных (данные подсчета) и несколько независимых переменных, я вижу, что в MMR скрипт выглядит так: my.model <- lm(cbind(DV1,DV2,DV3,DV4,DV5,DV6) ~ IV1 + IV2 + ... + IVn) Но, поскольку мои данные рассчитаны, я хочу использовать обобщенную линейную модель, и я попробовал это: my.model <- glm(cbind(DV1,DV2,DV3,DV4,DV5,DV6) ~ …

17 r  generalized-linear-model  multiple-regression 

Я хочу сравнить точность двух классификаторов по статистической значимости. Оба классификатора работают на одном наборе данных. Это наводит меня на мысль, что я должен использовать один образец t-критерия из того, что я читал . Например: Classifier 1: 51% accuracy Classifier 2: 64% accuracy Dataset size: 78,000 Это правильный тест для …

17 machine-learning  statistical-significance  classification  t-test 

При использовании тематического моделирования (скрытое распределение Дирихле) количество тем является входным параметром, который необходимо указать пользователю. Мне кажется, что мы также должны предоставить набор кандидатских тем, по которым процесс Dirichlet должен сэмплировать? Правильно ли мое понимание? На практике, как настроить этот набор кандидатов?

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

Это основной вопрос о моделях Box-Jenkins MA. Как я понимаю, модель MA - это, в основном, линейная регрессия значений временного ряда относительно предыдущих слагаемых ошибок . То есть наблюдение сначала регрессирует к своим предыдущим значениям а затем одно или несколько значений используются в качестве терминов ошибки для MA модель.YYYet,...,et−net,...,et−ne_t,..., e_{t-n}YYYYt−1,...,Yt−nYt−1,...,Yt−nY_{t-1}, …

17 regression  time-series  arima  box-jenkins 

Я использую модели SVM для краткосрочного прогнозирования загрязнителей воздуха. Для обучения новой модели мне нужно найти соответствующие метапараметры для модели SVM (я имею в виду C, гамма и т. Д.). Документация libsvm (и многие другие книги, которые я читал) предлагает использовать поиск по сетке для поиска этих параметров - поэтому …

17 cross-validation  svm 

Предположим, мы запустили простую линейную регрессию , сохранили невязки и нарисовали гистограмму распределения невязок. Если мы получим что-то похожее на знакомый дистрибутив, можем ли мы предположить, что наш термин ошибки имеет такое распределение? Скажем, если мы выяснили, что остатки похожи на нормальное распределение, имеет ли смысл предполагать нормальность погрешности в …

17 r  regression  residuals 

Изучая доверительный интервал на основе бутстрапа, я однажды прочитал следующее утверждение: Если распределение начальной загрузки перекошено вправо, основанный на начальной загрузке доверительный интервал включает поправку для перемещения конечных точек еще дальше вправо; это может показаться нелогичным, но это правильное действие. Я пытаюсь понять логику, лежащую в основе приведенного выше утверждения.

17 confidence-interval  bootstrap