Статистика и большие данные

В феврале 2016 года Американская статистическая ассоциация выпустила официальное заявление о статистической значимости и p-значениях. Наша ветка об этом подробно обсуждает эти вопросы. Однако до сих пор нет авторитета, который бы предлагал общепризнанную эффективную альтернативу. Американское статистическое общество (АСС) опубликовало свой ответ, p-значения: что дальше? «Значение р не очень хорошо …

67 hypothesis-testing  statistical-significance  p-value 

Я новичок в независимом компонентном анализе (ICA) и имею только элементарное понимание метода. Мне кажется, что ICA похож на Факторный анализ (FA) с одним исключением: ICA предполагает, что наблюдаемые случайные величины являются линейной комбинацией независимых компонентов / факторов, которые не являются гауссовыми, тогда как классическая модель FA предполагает, что наблюдаемые …

67 multivariate-analysis  factor-analysis  ica 

В Википедии сказано, что: математика [вероятности] в значительной степени не зависит от какой-либо интерпретации вероятности. Вопрос: Тогда, если мы хотим быть математически правильными, не должны ли мы запретить какую-либо интерпретацию вероятности? Т.е. математически неверны и байесовский, и частотный? Я не люблю философию, но мне нравится математика, и я хочу работать …

67 probability  bayesian  frequentist  philosophical  kolmogorov-axioms 

Рекуррентные нейронные сети отличаются от «обычных» тем, что имеют слой «памяти». Благодаря этому слою рекуррентные NN должны быть полезны при моделировании временных рядов. Тем не менее, я не уверен, что правильно понимаю, как их использовать. Допустим, у меня есть следующие временные ряды (слева направо): [0, 1, 2, 3, 4, 5, …

67 time-series  machine-learning  neural-networks 

Я никогда не замечал разницу между этими двумя показателями конвергенции. (Или, по сути, любой из различных типов сходимости, но я упоминаю эти два, в частности, из-за слабых и строгих законов больших чисел.) Конечно, я могу процитировать определение каждого и привести пример, где они различаются, но я все еще не совсем …

67 probability  random-variable 

У меня есть некоторые порядковые данные, полученные из вопросов опроса. В моем случае это ответы в стиле Лайкерта (категорически не согласен-не согласен-нейтрален-согласен-полностью согласен). По моим данным они кодируются как 1-5. Я не думаю, что средства здесь много значат, так что какая основная сводная статистика считается полезной?

67 descriptive-statistics  likert  ordinal-data 

Кто-нибудь знает, почему используется смещение в регрессии Пуассона? Чего вы добиваетесь этим?

67 poisson-regression  offset 

Формула для вычисления дисперсии имеет в знаменателе:(n−1)(n−1)(n-1) s2=∑Ni=1(xi−x¯)2n−1s2=∑i=1N(xi−x¯)2n−1s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1} Я всегда задавался вопросом, почему. Тем не менее, чтение и просмотр нескольких хороших видеофильмов о том, «почему», кажется, является хорошей непредвзятой оценкой дисперсии населения. Тогда как недооценивает и переоценивает дисперсию населения.n ( n - 2 )(n−1)(n−1)(n-1)nnn(n−2)(n−2)(n-2) Что …

67 variance  unbiased-estimator  proof  history 

В анализе главных компонент (PCA) мы получаем собственные векторы (единичные векторы) и собственные значения. Теперь давайте определим загрузки какLoadings=Eigenvectors⋅Eigenvalues−−−−−−−−−−√.Loadings=Eigenvectors⋅Eigenvalues,\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}. Я знаю, что собственные векторы являются просто направлениями, и нагрузки (как определено выше) также включают дисперсию вдоль этих направлений. Но для лучшего понимания я хотел бы знать, …

67 pca 

Я читал о ядре PCA ( 1 , 2 , 3 ) с гауссовым и полиномиальным ядрами. Как ядро ​​Гаусса, по-видимому, исключительно хорошо разделяет любые нелинейные данные? Пожалуйста, дайте интуитивный анализ, а также, если возможно, математически сложный анализ. Какое свойство ядра Гаусса (с идеальной ), которого нет у других ядер? …

67 machine-learning  pca  svm  kernel-trick 

Я делаю некоторые вычисления на разных матрицах (в основном в логистической регрессии), и я обычно получаю ошибку «Матрица является единственной», где я должен вернуться и удалить коррелированные переменные. Мой вопрос здесь: что бы вы назвали «сильно» коррелированной матрицей? Существует ли пороговое значение корреляции для представления этого слова? Например, если переменная …

66 regression  correlation  matrix  multicollinearity  singular 

У меня есть несколько сотен измерений. Теперь я рассматриваю возможность использования какого-либо программного обеспечения для сопоставления каждой меры с каждой мерой. Это означает, что существуют тысячи корреляций. Среди них (статистически) должна быть высокая корреляция, даже если данные полностью случайны (каждая мера имеет только около 100 точек данных). Когда я нахожу …

66 correlation  multiple-comparisons  permutation-test 

Я вижу, как это изображение много раздается. У меня есть ощущение, что информация, предоставленная таким образом, является какой-то неполной или даже ошибочной, но я недостаточно разбираюсь в статистике, чтобы отвечать. Это заставляет меня думать об этом комиксе xkcd , что даже при наличии достоверных исторических данных некоторые ситуации могут изменить …

66 probability  interpretation  prediction 

Это не вопрос домашнего труда, а реальная проблема, с которой сталкивается наша компания. Совсем недавно (2 дня назад) мы заказали у дилера 10000 этикеток. Дилер - независимый человек. Он получает этикетки, изготовленные извне, и компания производит оплату дилеру. Каждый лейбл стоил компании ровно 1 доллар. Вчера дилер пришел с этикетками, …

66 probability  bayesian  model  decision-theory 

В большинстве задач машинного обучения, где вы можете сформулировать некоторую вероятность которая должна быть максимизирована, мы фактически оптимизировали бы логарифмическую вероятность вместо вероятности для некоторых параметров . Например, в обучении с максимальным правдоподобием, это, как правило, логарифмическое правдоподобие. При выполнении этого с некоторым методом градиента, это включает в себя фактор:ppplogplog⁡p\log …

66 probability  optimization  log-likelihood