Статистика и большие данные

Это также спросили в вычислительной науке. Я пытаюсь вычислить байесовскую оценку некоторых коэффициентов для авторегрессии с 11 выборками данных: Yi=μ+α⋅Yi−1+ϵiYi=μ+α⋅Yi−1+ϵi Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i} гдеϵiϵi\epsilon_{i} является гауссовым со средним 0 и дисперсиейσ2eσe2\sigma_{e}^{2} априорное распределение на векторе(μ,α)t(μ,α)t(\mu, \alpha)^{t} является гауссовым со средним(0,0)(0,0)(0,0) и диагональной ковариационной матрицы с диагональными …

12 bayesian  mathematical-statistics  posterior 

Я пытаюсь классифицировать сообщения по различным категориям, используя SVM. Я составил список желаемых слов / символов из учебного набора. Для каждого вектора, который представляет сообщение, я устанавливаю соответствующую строку, 1если слово присутствует: "корпус" это: [Мария, маленькая, ягненок, звезда, мерцание] первое сообщение: "у марии был маленький ягненок" -> [1 1 1 …

12 classification  svm  sparse 

Функциональное проектирование часто является важным компонентом машинного обучения (оно активно использовалось для победы в KDD Cup в 2010 году ). Тем не менее, я считаю, что большинство технических характеристик техники либо уничтожить любое интуитивное значение основных функций или очень специфичны для конкретного домена или даже определенных типов функций. Классическим примером …

12 predictive-models  feature-selection  feature-construction 

В курсе машинного обучения Стэнфорда Эндрю Нг упомянул применение ML в IT. Некоторое время спустя, когда я получил DDoS умеренного размера (около 20 тыс. Ботов) на нашем сайте, я решил бороться с ним, используя простой классификатор Neural Network. Я написал этот скрипт на python примерно за 30 минут: https://github.com/SaveTheRbtz/junk/tree/master/neural_networks_vs_ddos Он …

12 classification  neural-networks  unsupervised-learning 

Я ищу программу (в R или SAS или автономную, если бесплатно или по низкой цене), которая будет выполнять анализ мощности для порядковой логистической регрессии.

12 logistic  power-analysis  ordered-logit 

Я хотел бы знать, какая статистическая литература имеет отношение к следующей проблеме, и, возможно, даже идея о том, как ее решить. Представьте себе следующую проблему: У нас есть 4 возможных лечения некоторых заболеваний. Чтобы проверить, какое лечение лучше, мы проводим специальное исследование. В испытании мы начинаем с отсутствия субъектов, затем, …

12 hypothesis-testing  chi-squared  p-value  multiple-comparisons  sequential-analysis 

Предположим, я строю прогностическую модель, в которой я пытаюсь предсказать несколько событий (например, бросок кубика и бросок монеты). Большинство известных мне алгоритмов работают только с одной целью, поэтому мне интересно, существует ли стандартный подход к такого рода вещам. Я вижу два возможных варианта. Возможно, самым наивным подходом было бы просто …

12 machine-learning  classification  predictive-models  multi-class 

Что выражается в терминах нулевого, первого, второго, третьего и т. Д. Порядка корреляции? Благодарность!

12 correlation 

У меня есть 2 общих / более теоретических вопроса. 1) Мне интересно, как SVM обрабатывают переменные взаимодействия при построении прогностических моделей. Например, если у меня есть две функции f1 и f2, а цель зависит от f1, f2 и, скажем, f1 * f2 (или некоторой функции h (f1, f2)), подходит ли …

12 machine-learning  predictive-models  svm  interaction 

Вчерашний вопрос « Определить точность модели, которая оценивает вероятность события» , заинтересовал меня оценкой вероятности. Оценка Бриера - это мера среднего квадрата ошибки. Показывает ли аналогичная средняя абсолютная погрешность показатели эффективности есть имя тоже?11NΣя = 1N( Р г е дя с т я о пя- р е фe r e …

12 classification  error  validation  scoring-rules  brier-score 

Я моделирую событие с двумя исходами, а и б. Я создал модель, которая оценивает вероятность того, что a или b произойдут (то есть модель рассчитает, что a произойдет с вероятностью 40%, а b произойдет с вероятностью 60%). У меня есть большая запись результатов испытаний с оценками из модели. Я хотел …

12 predictive-models  scoring-rules 

Кто-нибудь может сказать мне, как сделать моделирование недавних событий, частоты и денежной стоимости (RFM) и моделирование потребительской ценности в R? Кроме того, кто-нибудь может направить мне немного литературы об этом?

12 r  references  marketing 

Недавно я прошла вводный курс по многоуровневому моделированию. Большинство наборов данных и примеров, которые мы использовали, были из социальных наук. Я только что получил 2-х недельную стажировку в отделе биостатистики, где они хотят, чтобы я начал проект, касающийся различий на уровне больниц в исходах для неотложных состояний с высоким уровнем …

12 r  stata  multilevel-analysis  epidemiology 

Каковы наилучшие методы для подбора «режима» данных, взятых из непрерывного распределения? Поскольку этот режим технически не определен (верно?) Для непрерывного распространения, я действительно спрашиваю: «Как вы находите наиболее распространенное значение»? Если вы предполагаете, что родительский дистрибутив является гауссовским, вы можете скопировать данные и найти, скажем, режим - это местоположение бина …

12 distributions  fitting  mode 

Какая функция стоимости лучше для случайного лесного дерева: индекс Джини или энтропия? Я пытаюсь реализовать случайный лес в Clojure.

12 classification  random-forest  cart