Статистика и большие данные

Я изучаю распознавание образов и машинное обучение, и я столкнулся со следующим вопросом. Рассмотрим задачу классификации двух классов с равной вероятностью предшествующего класса P(D1)=P(D2)=12P(D1)=P(D2)=12P(D_1)=P(D_2)= \frac{1}{2} и распределение экземпляров в каждом классе, заданное p(x|D1)=N([00],[2001]),p(x|D1)=N([00],[2001]), p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} …

12 machine-learning  self-study  classification  discriminant-analysis 

Я ожидаю, что не может быть никакого определенного ответа на этот вопрос. Но в прошлом я использовал несколько алгоритмов машинного обучения и пытаюсь узнать о байесовских сетях. Я хотел бы понять, при каких обстоятельствах или для каких типов проблем вы бы выбрали использование байесовской сети по сравнению с другими подходами?

12 machine-learning  bayesian-network 

Я нашел много статей, в которых говорится, что методы повышения чувствительны к выбросам, но нет статей, объясняющих почему. По моему опыту, выбросы плохи для любого алгоритма машинного обучения, но почему методы повышения выделяются как особенно чувствительные? Как бы оценили следующие алгоритмы с точки зрения чувствительности к выбросам: буст-дерево, случайный лес, …

12 machine-learning  svm  outliers  cart  boosting 

Предположим следующую ситуацию: у нас есть большое количество (например, 20) с небольшим размером группы (например, n = 3). Я заметил, что если я сгенерирую значения из равномерного распределения, остатки будут выглядеть примерно нормально, даже если распределение ошибок будет равномерным. Следующий код R демонстрирует это поведение: n.group = 200 n.per.group = …

12 anova  normal-distribution  small-sample 

Я читал пост в блоге статистика Уильяма Бриггса, и следующее утверждение заинтересовало меня, если не сказать больше. Что вы об этом думаете? Что такое доверительный интервал? Конечно, это уравнение, которое предоставит вам интервал для ваших данных. Он предназначен для обеспечения меры неопределенности оценки параметра. Теперь, в строгом соответствии с теорией …

12 confidence-interval  frequentist  philosophical 

У меня возникли проблемы с пониманием, в какой ситуации подход MCMC действительно полезен. Я рассматриваю игрушечный пример из книги Крушке «Анализ байесовских данных: учебник по R и BUGS». До сих пор я понимал, что нам нужно целевое распределение, пропорциональное , чтобы иметь выборку . Однако, мне кажется, что как только …

12 mcmc 

Я читал, что регрессия гребня может быть достигнута простым добавлением строк данных в исходную матрицу данных, где каждая строка создается с использованием 0 для зависимых переменных и квадратного корня из Кkk или нуля для независимых переменных. Затем добавляется одна дополнительная строка для каждой независимой переменной. Мне было интересно, можно ли …

12 logistic  generalized-linear-model  ridge-regression 

В моей классной работе по извлечению данных был предложен метод удержания для оценки производительности модели. Однако, когда я взял свой первый класс по линейным моделям, это не было введено как средство проверки или оценки модели. Мои онлайн-исследования также не показывают какого-либо пересечения. Почему метод удержания не используется в классической статистике?

12 regression  validation  model-evaluation  out-of-sample 

Бахман Бахмани и соавт. представил k-means ||, который является более быстрой версией k-means ++. Этот алгоритм взят из страницы 4 их работы , Бахмани Б., Мозли Б., Ваттани А., Кумар Р. и Васильвицкий С. (2012). Масштабируемое k-означает ++. Труды фонда VLDB , 5 (7), 622-633. К сожалению, я не понимаю …

12 clustering  k-means 

Предположим, что случайная величина следует непрерывному равномерному распределению с параметрами 0 и 10 (т. Е. )U ∼ U ( 0 , 10 )UUUU∼ U ( 0 , 10 )U∼U(0,10)U \sim \rm{U}(0,10) Теперь давайте обозначим A событие, когда = 5, а B событие, когда равно или 6. Согласно моему пониманию, оба …

12 conditional-probability  continuous-data  uniform 

Есть ли разница между терминами «нейронная сеть» и «персептрон»?

12 machine-learning  neural-networks  terminology  perceptron 

Я заинтересован в выводах этой статьи за 2009 год: Почему (лучшие) женщины так хороши в шахматах? Уровень участия и гендерные различия в интеллектуальных сферах В этой статье делается попытка объяснить, почему самые лучшие шахматисты выглядят намного лучше, чем самые лучшие игроки женского пола (женщины составляют всего 2% из 1000 лучших …

12 population  extreme-value 

Вопрос: Bootstrapping превосходит джекнифинг; однако мне интересно, есть ли случаи, когда джекнифинг является единственным или, по крайней мере, жизнеспособным вариантом для характеристики неопределенности из оценок параметров. Кроме того, в практических ситуациях, насколько предвзятый / неточный джекнифинг по сравнению с начальной загрузкой, и могут ли результаты ножевого ножа обеспечить предварительное понимание …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Я столкнулся с рядом практических вопросов при моделировании данных подсчета из экспериментальных исследований с использованием эксперимента внутри объекта. Я кратко опишу эксперимент, данные и то, что я уже сделал, а затем мои вопросы. Четыре различных фильма были показаны выборке респондентов в последовательности. После каждого фильма проводилось интервью, в котором мы …

12 generalized-linear-model  negative-binomial  glmm  poisson-regression  overdispersion 

TL; DR: lme4оптимизация кажется линейной по количеству параметров модели по умолчанию и намного медленнее, чем эквивалентная glmмодель с фиктивными переменными для групп. Что я могу сделать, чтобы ускорить это? Я пытаюсь соответствовать довольно большой иерархической модели логита (~ 50 тыс. Строк, 100 столбцов, 50 групп). Подгонка нормальной модели логита к …

12 r  mixed-model  optimization  lme4-nlme  numerics