Статистика и большие данные

Скажем, у меня есть некоторые исторические данные, например, прошлые цены на акции, колебания цен на авиабилеты, прошлые финансовые данные компании ... Теперь кто-то (или какая-то формула) приходит и говорит «давайте возьмем / используем журнал дистрибутива», и вот куда я иду ПОЧЕМУ ? Вопросов: ПОЧЕМУ в первую очередь стоит взять журнал …

174 distributions  data-transformation  logarithm 

Я работаю с небольшим набором данных (21 наблюдение) и имею следующий нормальный график QQ в R: Видя, что сюжет не поддерживает нормальность, что я могу сделать вывод о базовом распределении? Мне кажется, что распределение, более искаженное вправо, было бы лучше, верно? Кроме того, какие еще выводы мы можем сделать из …

173 r  data-visualization  inference  qq-plot 

Недавно я заметил, что многие люди разрабатывают тензорные эквиваленты многих методов (тензорная факторизация, тензорные ядра, тензоры для тематического моделирования и т. Д.). Мне интересно, почему мир внезапно очарован тензорами? Существуют ли недавние документы / стандартные результаты, которые особенно удивляют, которые привели к этому? Это в вычислительном отношении намного дешевле, чем …

171 machine-learning  references  matrix  linear-algebra  tensor 

Скажем, я хочу оценить большое количество параметров, и я хочу наказать некоторые из них, потому что я считаю, что они должны иметь небольшой эффект по сравнению с другими. Как мне решить, какую схему наказания использовать? Когда регрессия гребня более уместна? Когда я должен использовать лассо?

167 regression  lasso  ridge-regression 

Ну, у нас есть любимые статистические цитаты. Как насчет статистики анекдотов?

166 references  humor 

Я ищу лучшее распределение для рассматриваемой независимой переменной, или чтобы уменьшить влияние выбросов или что-то еще?

164 regression  distributions  data-transformation  logarithm  regression-strategies 

Если у вас есть переменная, которая отлично разделяет нули и единицы в целевой переменной, R выдаст следующее предупреждающее сообщение «идеальное или квази идеальное разделение»: Warning message: glm.fit: fitted probabilities numerically 0 or 1 occurred Мы все еще получаем модель, но оценки коэффициента завышены. Как вы справляетесь с этим на практике?

163 r  regression  logistic  separation 

Я недавно прочитал сообщение от R-Bloggers, которое связывалось с этим сообщением в блоге от Джона Майлса Уайта о новом языке под названием Джулия . Джулия пользуется преимуществом компилятора, работающего точно в срок, который дает ему быстрое время выполнения и ставит его на тот же порядок скорости, что и C / …

161 r  computational-statistics  software  computing  julia 

На этом форуме много обсуждается вопрос о том, как правильно указать различные иерархические модели lmer. Я думал, что было бы здорово иметь всю информацию в одном месте. Пара вопросов для начала: Как указать несколько уровней, где одна группа вложена в другую: это (1|group1:group2)или нет (1+group1|group2)? В чем разница между (~1 …

160 r  mixed-model  random-effects-model  fixed-effects-model  lme4-nlme 

Я понимаю формальные различия между ними, и я хочу знать, когда более уместно использовать одно против другого. Всегда ли они дают дополнительное представление о производительности данной системы классификации / обнаружения? Когда разумно представить их обоих, скажем, в газете? вместо одного? Существуют ли альтернативные (возможно, более современные) дескрипторы, которые отражают соответствующие …

159 machine-learning  roc  precision-recall 

После прочтения набора данных: dataset <- read.csv("forR.csv") Как я могу получить R, чтобы дать мне количество дел, которые он содержит? Кроме того, будет ли возвращаемое значение включать исключающие случаи, пропущенные с помощью na.omit(dataset)?

158 r 

Я знаю, что порождающие средства «основаны на » и дискриминационные средства «основаны на », но я запутался в нескольких моментах:P ( y | x )P(x,y)P(x,y)P(x,y)P(y|x)P(y|x)P(y|x) Википедия (+ много других хитов в сети) классифицирует такие вещи, как SVM и деревья решений, как дискриминационные. Но они даже не имеют вероятностных интерпретаций. Что …

154 machine-learning  generative-models 

Каковы основные различия между выполнением анализа главных компонентов (PCA) на матрице корреляции и ковариационной матрице? Они дают одинаковые результаты?

153 correlation  pca  covariance  factor-analysis 

На странице Википедии о наивных байесовских классификаторах есть такая строка: p ( h e i g h t | m a l e ) = 1,5579p(height|male)=1.5789p(\mathrm{height}|\mathrm{male}) = 1.5789 (Распределение вероятностей по 1 в порядке. Это площадь под кривой колокола, равная 1.) Как значение может быть в порядке? Я думал, что …

149 distributions  probability  normal-distribution  pdf 

Мне интересно, как выбрать прогностическую модель после выполнения перекрестной проверки по K-кратному критерию. Это может быть неловко сформулировано, поэтому позвольте мне объяснить более подробно: всякий раз, когда я запускаю кросс-проверку K-кратных данных, я использую K подмножеств данных обучения и в конечном итоге получаю K различных моделей. Я хотел бы знать, …

149 cross-validation  model-selection