Статистика и большие данные

Ситуация Некоторые исследователи хотели бы усыпить вас. В зависимости от секретного броска справедливой монеты, они кратко разбудят вас один раз (головы) или два раза (хвосты). После каждого пробуждения они возвращают вас спать с лекарством, которое заставляет вас забыть это пробуждение. Когда вы проснетесь, в какой степени вы должны верить, что …

133 decision-theory  paradox 

Это то, что беспокоило меня какое-то время, и я не смог найти удовлетворительных ответов в Интернете, так что вот так: После рассмотрения ряда лекций по выпуклой оптимизации метод Ньютона, по-видимому, является гораздо более совершенным алгоритмом, чем градиентный спуск, для поиска глобально оптимальных решений, поскольку метод Ньютона может обеспечить гарантию его …

132 machine-learning  optimization  gradient-descent  hessian 

Я читаю книгу по интеллектуальному анализу данных, в которой упоминается статистика Каппа как средство оценки эффективности прогнозирования классификаторов. Однако я просто не могу этого понять. Я также проверил Википедию, но это тоже не помогло: https://en.wikipedia.org/wiki/Cohen's_kappa . Как каппа Коэна помогает в оценке эффективности прогнозирования классификаторов? Что это говорит? Я понимаю, …

131 classification  data-mining  cohens-kappa 

В недавней статье в Amstat Новости , авторы (Марк ван дер Лан и Шерри Роуз) заявил , что «Мы знаем , что для достаточно больших размеров выборки, каждое исследование, в том числе те , в которых нулевая гипотеза об отсутствии эффекта верно - будет объявить статистически значимый эффект. Ну, я, …

129 hypothesis-testing  sample-size  dataset  large-data 

Мне было интересно, какова разница между дисперсией и стандартным отклонением. Если вы рассчитываете два значения, становится ясно, что вы получаете стандартное отклонение от дисперсии, но что это означает с точки зрения распределения, которое вы наблюдаете? Кроме того, зачем вам стандартное отклонение?

127 variance  mathematical-statistics  standard-deviation 

Я изучаю распознавание образов и статистику, и почти в каждой книге, которую я открываю на эту тему, я сталкиваюсь с концепцией расстояния Махаланобиса . Книги дают интуитивно понятные объяснения, но все еще недостаточно хороши для того, чтобы я действительно мог понять, что происходит. Если бы кто-то спросил меня: «Каково расстояние …

127 normal-distribution  mathematical-statistics  distance  pattern-recognition  intuition 

Случайные леса считаются черными ящиками, но недавно я подумал, какие знания можно получить из случайного леса? Наиболее очевидной вещью является важность переменных, в простейшем варианте это можно сделать, просто рассчитав количество вхождений переменной. Второе, о чем я думал, это взаимодействие. Я думаю, что если количество деревьев достаточно велико, можно проверить …

127 machine-learning  data-mining  interaction  random-forest  cart 

Я действительно удивлен, что никто, кажется, не спросил это уже ... При обсуждении оценщиков часто используются два термина: «последовательный» и «беспристрастный». Мой вопрос прост: какая разница? Точные технические определения этих терминов довольно сложны, и сложно понять, что они означают . Я могу представить себе хорошую оценку и плохую оценку, но …

125 unbiased-estimator  estimators  consistency 

В группе студентов 2 из 18 левши. Найти апостериорное распределение учеников-левшей в популяции, предполагая неинформативный априорный анализ. Подведите итоги. По данным литературы, 5-20% людей - левши. Примите эту информацию во внимание в вашем предыдущем и вычислите новое заднее. Я знаю, что бета-дистрибутив должен быть использован здесь. Во-первых, значения и равны …

125 distributions  bayesian  prior  posterior 

Недавно я читал о глубоком обучении, и я запутался в терминах (или, скажем, технологиях). В чем разница между Сверточные нейронные сети (CNN), Ограниченные машины Больцмана (RBM) и Авто-кодеры?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

У меня есть датафрейм со многими наблюдениями и многими переменными. Некоторые из них являются категориальными (неупорядоченными), а другие числовыми. Я ищу ассоциации между этими переменными. Я был в состоянии вычислить корреляцию для числовых переменных (корреляция Спирмена), но: Я не знаю, как измерить корреляцию между неупорядоченными категориальными переменными. Я не знаю, …

123 r  correlation  categorical-data  continuous-data  mixed-type-data 

В чем разница между линейной регрессией и логистической регрессией? Когда бы вы использовали каждый?

122 regression  logistic  linear-model 

У нас есть случайный эксперимент с различными результатами , образующих пространство образца Ω ,Ω,\Omega, на котором мы смотрим с интересом на некоторые модели, под названием события F,F.\mathscr{F}. Сигма-алгебры (или сигма-поля) состоят из событий, которым может быть назначена мера вероятности пP\mathbb{P}Определенные свойства выполняются, включая включение нулевого множества ∅∅\varnothing и всего выборочного …

122 probability  intuition  measure-theory  sigma-algebra 

Вопрос (слегка измененный) выглядит следующим образом, и, если вы никогда не сталкивались с ним раньше, вы можете проверить его в примере 6a, глава 2, « Первый курс вероятности» Шелдона Росса : Предположим, что у нас есть бесконечно большая урна и бесконечный набор шаров, помеченных как шар номер 1, номер 2, …

121 probability  paradox 

Как я знаю , когда выбирать между Спирменом и Пирсоном ? Моя переменная включает в себя удовлетворенность, и оценки были интерпретированы с использованием суммы оценок. Тем не менее, эти оценки также могут быть ранжированы.гρρ\rhoррr

119 correlation  pearson-r  spearman-rho