Статистика и большие данные

Я играю с набором данных о раке молочной железы и создал диаграмму рассеяния всех атрибутов, чтобы понять, какие из них оказывают наибольшее влияние на предсказание класса malignant(синий) benign(красный). Я понимаю, что строка представляет ось x, а столбец представляет ось y, но я не вижу, какие наблюдения я могу сделать относительно …

10 r  data-visualization  interpretation  scatterplot 

Как bayesglm()(в пакете arm R), так и различные функции в пакете MCMCpack нацелены на байесовскую оценку обобщенных линейных моделей, но я не уверен, что они фактически вычисляют одно и то же. Функции MCMCpack используют цепочку Маркова Монте-Карло для получения (зависимой) выборки из задней точки соединения для параметров модели. bayesglm()с другой …

10 bayesian  generalized-linear-model 

В настоящее время я использую Scikit Learn со следующим кодом: clf = svm.SVC(C=1.0, tol=1e-10, cache_size=600, kernel='rbf', gamma=0.0, class_weight='auto') а затем подгонка и прогнозирование для набора данных с 7 различными метками. Я получил странный вывод. Независимо от того, какой метод перекрестной проверки я использую, предсказанная метка в наборе валидации всегда будет …

10 svm  scikit-learn  libsvm  multi-class  optunity 

Я читал, что оценка 2SLS по-прежнему соответствует даже двоичной эндогенной переменной ( http://www.stata.com/statalist/archive/2004-07/msg00699.html ). На первом этапе вместо линейной модели будет запущена пробная модель лечения. Существуют ли какие-либо формальные доказательства, подтверждающие, что 2SLS по-прежнему непротиворечив, даже если 1-й этап представляет собой модель пробит или логит? И что делать, если результат …

10 probit  instrumental-variables  endogeneity 

Предположим, у меня есть вектор зависимых переменных и вектор независимой переменной. Когда отображается на графике , я вижу, что между ними существует линейная зависимость (восходящая тенденция). Теперь это также означает, что между и существует линейная тенденция к снижению .NNNYYYNNNXXXYYY1X1X\frac{1}{X}YYYXXX Теперь, если я запускаю регрессию: и получаю подходящее значениеY=β∗X+ϵY=β∗X+ϵY = \beta …

10 regression  data-transformation  linear-model 

Один из важных вопросов, с которыми сталкиваются синоптики, заключается в том, можно ли прогнозировать данную серию или нет? Я наткнулся на статью Питера Кэтта « Энтропия как априорный показатель прогнозируемости », в которой в качестве относительной меры для определения заданного временного ряда используется приблизительная энтропия (ApEn) . В статье говорится, …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Я застрял на том, как решить эту проблему. Итак, у нас есть две последовательности случайных величин: и для . Теперь и являются независимыми экспоненциальными распределениями с параметрами и . Однако, вместо того, чтобы наблюдать и , мы видим вместо и .Y я я = 1 , . , , , …

10 self-study  maximum-likelihood  exponential  minimum 

Многие учебники статистики предоставляют интуитивно понятную иллюстрацию того, каковы собственные векторы ковариационной матрицы: Векторы u и z образуют собственные векторы (ну, собственные оси). Это имеет смысл. Но меня смущает то, что мы извлекаем собственные векторы из корреляционной матрицы, а не необработанные данные. Кроме того, исходные наборы данных, которые весьма различны, …

10 correlation  pca  covariance-matrix  eigenvalues 

Прежде чем задать этот вопрос, я сделал поиск наш сайт и нашел много подобных вопросов, (например , здесь , здесь и здесь ). Но я чувствую, что эти смежные вопросы не получили должного ответа или обсуждения, поэтому я хотел бы снова поднять этот вопрос. Я чувствую, что должно быть большое …

10 mixed-model  residuals  heteroscedasticity  diagnostic 

Я использую скрытый семантический анализ для представления совокупности документов в пространстве меньшего размера. Я хочу сгруппировать эти документы в две группы с помощью k-средних. Несколько лет назад я сделал это с помощью gensim Python и написал свой собственный алгоритм k-средних. Я определил кластерные центроиды, используя евклидово расстояние, но затем сгруппировал …

10 k-means  svd  lsa  cosine-distance  cosine-similarity 

Я знаю несколько хороших примеров пар коррелированных случайных величин, которые незначительно нормальны, но не в совокупности нормальны. Смотрите этот ответ на Дилип Sarwate , и этот по кардиналу . Мне также известен пример двух нормальных случайных величин, сумма которых не является нормальной. Смотрите этот ответ по Макро . Но в …

10 correlation  normal-distribution  multivariate-analysis  bivariate 

Недавно я услышал историю, в которой кто-то сказал, что если они хотят кого-то убить (и сойти с рук), они сделают это на своей машине. Они приводили различные статистические данные о количестве смертей, связанных с автомобилями (в том числе автомобилей на пешеходах), а также дополнительные статистические данные о количестве водителей, фактически …

10 statistical-significance 

У меня есть следующие модели m_plotснабжены lme4::lmerсо скрещенными случайными эффектами для участников ( lfdn) и элементов ( content): Random effects: Groups Name Variance Std.Dev. Corr lfdn (Intercept) 172.173 13.121 role1 62.351 7.896 0.03 inference1 24.640 4.964 0.08 -0.30 inference2 52.366 7.236 -0.05 0.17 -0.83 inference3 21.295 4.615 -0.03 0.22 0.86 …

10 mixed-model  lme4-nlme  intraclass-correlation 

Предположим, у меня небольшой размер выборки, например, N = 100, и два класса. Как выбрать размеры обучения, перекрестной проверки и тестового набора для машинного обучения? Я бы интуитивно выбрал Размер тренировочного набора 50 Размер набора для перекрестной проверки 25, и Размер теста как 25. Но, вероятно, это имеет более или …

10 machine-learning  sampling  svm  cross-validation  sample-size 

Я читал литературу, которую случайные леса не могут перегонять. Хотя это звучит замечательно, кажется слишком хорошим, чтобы быть правдой. Можно ли для ВЧ переодеться?

10 random-forest  overfitting