Статистика и большие данные

Эндрю Гельман в одном из своих недавних постов в блоге говорит: Я не думаю, что для парадокса Симпсона необходимы контрфакты или потенциальные результаты. Я говорю это потому, что можно установить парадокс Симпсона с переменными, которыми нельзя манипулировать, или для которых манипуляции не представляют непосредственного интереса. Парадокс Симпсона является частью более …

22 regression  interaction  simpsons-paradox 

У меня есть полумаленькая матрица двоичных объектов размером 250k x 100. Каждая строка является пользователем, а столбцы представляют собой двоичные «теги» некоторого поведения пользователя, например «likes_cats». user 1 2 3 4 5 ... ------------------------- A 1 0 1 0 1 B 0 1 0 1 0 C 1 0 0 …

22 r  clustering  binary-data 

Я недавно читал о U-тесте Манна-Уитни. Оказывается, что для проведения этого теста в R вам действительно нужно запустить тест Уилкоксона! Мой вопрос: wilcox.testидентична ли статистика W в R статистике U?

22 r  wilcoxon-mann-whitney 

Я выступаю упругую внутрисетевые логистическую регрессию по набору данных медико - санитарной помощи с использованием glmnetпакета в R путем выбора значения лямбды над сеткой αα\alpha от 0 до 1. Моего сокращенного кода ниже: alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for (i in 1:11) …

22 machine-learning  cross-validation  glmnet  elastic-net 

Я понимаю, что критерий Вальда для коэффициентов регрессии основан на следующем свойстве, которое выполняется асимптотически (например, Вассерман (2006): Вся статистика , стр. 153, 214-215): Где обозначает предполагаемый коэффициент регрессии, обозначает стандартную ошибку коэффициента регрессии, а представляет собой интересующее значение ( обычно равно 0, чтобы проверить, является ли коэффициент значительно отличается …

22 r  regression  hypothesis-testing  generalized-linear-model 

Я хочу лучше понять пакеты R Larsи Glmnet, которые используются для решения проблемы Лассо: (для переменных и выборок, см. www.stanford.edu/~hastie/Papers/glmnet.pdf на стр. 3)м я н( β0β) ∈ Rр + 1[ 12 NΣя = 1N( уя- β0- хTяβ)2+ λ | |β| |L1]мяN(β0β)∈рп+1[12NΣязнак равно1N(Yя-β0-ИксяTβ)2+λ||β||L1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta ||_{l_{1}} \right]ппpNNN …

22 r  regression  machine-learning  lasso  regularization 

Я хочу выполнить кластеризацию K-средних на имеющихся у меня объектах, но объекты не описываются как точки в пространстве, то есть objects x featuresнабором данных. Тем не менее, я могу вычислить расстояние между любыми двумя объектами (оно основано на функции подобия). Итак, я избавляюсь от матрицы расстояний objects x objects. Я …

22 machine-learning  clustering  data-mining  k-means  distance 

Предположим, у меня есть некоторые измерения для каждого предмета на каждом сайте. Две переменные, субъект и сайт, представляют интерес с точки зрения вычисления значений внутриклассовой корреляции (ICC). Обычно я использую функцию lmerиз пакета R lme4и запускаю lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata) Значения ICC …

22 r  lme4-nlme  intraclass-correlation 

После игры слишком много Angry Birds я начал наблюдать за своими собственными стратегиями. Оказывается, я разработал очень специфический подход к получению 3 звезд на каждом уровне. Это заставило меня задуматься о проблемах разработки системы машинного обучения, которая могла бы играть в Angry Birds. Взаимодействие с игрой и запуск птиц является …

22 machine-learning  reinforcement-learning 

Я новичок в этой вещи R, но не уверен, какую модель выбрать. Я сделал пошаговую регрессию вперед, выбирая каждую переменную на основе самой низкой AIC. Я придумал 3 модели, в которых я не уверен, какая из них «лучшая». Model 1: Var1 (p=0.03) AIC=14.978 Model 2: Var1 (p=0.09) + Var2 (p=0.199) …

22 model-selection  aic  stepwise-regression 

Я должен немедленно уточнить, что я являюсь практикующим разработчиком программного обеспечения, а не статистиком, и что мой класс по статистике в колледже был очень давно ... Тем не менее, я хотел бы знать, существует ли метод для накопления набора описательной статистики, который затем может быть использован для создания коробочного графика, …

22 algorithms  median  quantiles 

У меня есть две группы данных. Каждый с различным распределением нескольких переменных. Я пытаюсь определить, отличаются ли распределения этих двух групп статистически значимым образом. У меня есть данные как в необработанном виде, так и сгруппированные в более легкие для работы с дискретными категориями с частотными показателями в каждой. Какие тесты …

22 distributions  statistical-significance 

Каков наиболее информационно-физически-теоретический правильный способ вычисления энтропии изображения? Сейчас меня не волнует эффективность вычислений - я хочу, чтобы теоретически это было как можно более корректно. Давайте начнем с серого изображения. Одним из интуитивных подходов является рассмотрение изображения как пакета пикселей и вычисление где - количество уровней серого, а - вероятность, …

22 spatial  entropy  image-processing 

Коэффициент корреляции обычно пишется с большой буквы но иногда нет. Интересно, есть ли разница между и ? Может ли означать что-то еще, кроме коэффициента корреляции?RRRr2r2r^2R2R2R^2rrr

22 correlation  terminology  r-squared 

Я не уверен, почему нам нужно кодировать категориальные переменные. Например, если у меня есть категориальная переменная с четырьмя возможными значениями 0,1,2,3, я могу заменить ее двумя измерениями. Если бы переменная имела значение 0, она имела бы 0,0 в двух измерениях, если бы она имела 3, она имела бы 1,1 в …

22 categorical-data  categorical-encoding