Статистика и большие данные

В видео-лекциях из Гарвардского журнала « Статистика 110: вероятность», которые можно найти в iTunes и YouTube, я столкнулся с этой проблемой. Я попытался обобщить это здесь: Предположим, нам дают случайную двухкарточную комбинацию из стандартной колоды. Какова вероятность того, что обе карты являются тузами, если у нас есть хотя бы один …

15 probability  conditional-probability  intuition 

У меня есть образцы из сильно искаженного (похожего на экспоненциальный дистрибутив) набора данных об участии пользователей (например, количество постов), которые имеют разные размеры (но не менее 200), и я хочу сравнить их среднее значение. Для этого я использую непарные t-тесты с двумя образцами (и t-тесты с коэффициентом Уэлча, когда образцы …

15 hypothesis-testing  t-test  nonparametric  mean  skewness 

У меня есть две переменные - X и Y, и мне нужно сделать кластер максимальным (и оптимальным) = 5. Давайте идеальный график переменных выглядит следующим образом: Я хотел бы сделать 5 кластеров из этого. Что-то вроде этого: Таким образом, я думаю, что это смешанная модель с 5 кластерами. Каждый кластер …

15 r  clustering  gaussian-mixture 

\newcommand{\E}{\mathbb{E}} Как нормализует преобразование A ( ⋅ ) = ∫ d uВ 1 / 3 ( μ )A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)} для экспоненциального семейства получен? Более конкретно : я пытался следовать расширительному эскизу Тэйлор на странице 3, слайд- здесь , но есть несколько вопросов. С ИксXX из экспоненциального семейства, преобразованием ч …

15 data-transformation  residuals  asymptotics  exponential-family 

У меня есть два набора данных, и я хотел бы знать, значительно ли они различаются или нет (это происходит из « Две группы существенно различаются? Тест для использования »). Я решил использовать тест перестановки, выполнив в R следующее: permutation.test <- function(coding, lncrna) { coding <- coding[,1] # dataset1 lncrna <- …

15 p-value  permutation-test 

Оригинальный вопрос (25.07.14): Имеет ли смысл эта цитата из новостных СМИ или есть лучший статистический способ просмотра потока недавних авиационных происшествий? Однако Барнетт также обращает внимание на теорию распределения Пуассона, которая подразумевает, что короткие интервалы между авариями на самом деле более вероятны, чем длинные. «Предположим, что в среднем происходит один …

15 probability  poisson-distribution 

Я пытаюсь понять, следует ли использовать регрессию гребня , LASSO , регрессию главных компонентов (PCR) или частичные наименьшие квадраты (PLS) в ситуации, когда имеется большое количество переменных / признаков ( ) и меньшее количество выборок ( ) и моя цель - прогноз.ппpп < рN<пn nр > 10 нп>10Np>10n Переменные ( …

15 regression  pca  lasso  ridge-regression  partial-least-squares 

Имеет ли смысл и возможно ли выполнить односторонний тест KS? Какой будет нулевая гипотеза такого теста? Или тест KS по своей сути является двусторонним тестом? Мне был бы полезен ответ, который помог мне понять распределение D (я работаю через статью Масси 1951 года и нахожу описание сложным, например, и - …

15 hypothesis-testing  goodness-of-fit  kolmogorov-smirnov 

У меня проблема с нормальностью некоторых данных, которые у меня есть: я выполнил тест Колмогорова, который говорит, что он ненормален с p = .0000, я не понимаю: асимметрия моего распределения = -. 497, и эксцесс = -0,024 Вот график моего распространения, который выглядит очень нормально ... (У меня есть три …

15 normal-distribution  spss  kolmogorov-smirnov  histogram  qq-plot 

Я пытаюсь сделать регрессию на гетероскедастических данных, где я пытаюсь предсказать отклонения ошибки, а также средние значения в терминах линейной модели. Что-то вроде этого: y(x,t)ξ(x,t)y¯(x,t)σ(x,t)=y¯(x,t)+ξ(x,t),∼N(0,σ(x,t)),=y0+ax+bt,=σ0+cx+dt.y(x,t)=y¯(x,t)+ξ(x,t),ξ(x,t)∼N(0,σ(x,t)),y¯(x,t)=y0+ax+bt,σ(x,t)=σ0+cx+dt.\begin{align}\\ y\left(x,t\right) &= \bar{y}\left(x,t\right)+\xi\left(x,t\right),\\ \xi\left(x,t\right) &\sim N\left(0,\sigma\left(x,t\right)\right),\\ \bar{y}\left(x,t\right) &= y_{0}+ax+bt,\\ \sigma\left(x,t\right) &= \sigma_{0}+cx+dt. \end{align} Словом, данные состоят из повторных измерений при различных значениях и . Я …

15 regression  spss  variance  residuals  heteroscedasticity 

У меня есть набор данных с несколькими миллионами строк и ~ 100 столбцов. Я хотел бы обнаружить около 1% примеров в наборе данных, которые относятся к общему классу. У меня есть ограничение минимальной точности, но из-за очень асимметричной стоимости я не слишком заинтересован в каком-либо конкретном отзыве (пока у меня …

15 machine-learning  classification  unbalanced-classes  precision-recall 

Существует ли справочный тезаурус для статистики и терминов машинного обучения? Я знаю, что статьи в Википедии часто содержат синонимы, но я хотел бы иметь простой тезаурус, через который я мог бы легко пройти (вместо полной энциклопедии), чтобы убедиться, что я знаю весь жаргон.

15 machine-learning  terminology 

Я слышал, что регрессия гребня может быть получена как среднее значение апостериорного распределения, если адекватно выбран априор. Является ли интуиция тем, что ограничения, установленные ранее для коэффициентов регрессии (например, стандартные нормальные распределения около 0), идентичны / заменяют штраф, установленный для квадрата размера коэффициентов? Должен ли априор быть гауссовым, чтобы эта …

15 bayesian  prior  ridge-regression 

В частности, мне интересно, почему у нас есть концепция множественного R (которую я могу понять как корреляция между наблюдаемыми и прогнозируемыми оценками при множественной регрессии), а затем отдельное понятие R-квадрат, представляющее собой просто квадрат или R. Мне сообщили, что R-квадрат - это объясненное изменение в процентах, а R - нет, …

15 multiple-regression 

Я работаю над критерием важности функции Джини для случайного леса. Следовательно, мне нужно рассчитать уменьшение Джини примеси в узле. Вот как я это делаю, что приводит к конфликту с определением, предполагающим, что я где-то ошибаюсь ... :) Для бинарного дерева и с учетом вероятностей левого и правого потомков я могу …

15 feature-selection  random-forest  cart