Статистика и большие данные

Существуют ли бесплатные статистические учебники?

119 teaching  references 

Корреляция не подразумевает причинно-следственную связь, так как может быть много объяснений корреляции. Но подразумевает ли причинность корреляцию? Интуитивно я думаю, что наличие причинно-следственной связи означает, что существует определенная корреляция. Но моя интуиция не всегда хорошо служила мне в статистике. Означает ли причинность корреляцию?

118 correlation  causality 

На работе мы обсуждали это, так как мой начальник никогда не слышал о нормализации. В линейной алгебре нормализация, по-видимому, относится к делению вектора на его длину. И в статистике стандартизация, по-видимому, относится к вычитанию среднего значения, которое затем делится на его SD. Но они кажутся взаимозаменяемыми и с другими возможностями. …

118 descriptive-statistics  normalization  standardization 

Я работаю на моделях линейной регрессии и задаюсь вопросом, каковы условия удаления термина «перехват». Сравнивая результаты двух разных регрессий, где один имеет перехват, а другой нет, я замечаю, что функции без перехвата намного выше. Существуют ли определенные условия или предположения, которым я должен следовать, чтобы убедиться, что удаление термина перехвата …

118 regression  linear-model  r-squared  intercept 

Я пытаюсь понять алгоритм EM, чтобы иметь возможность его реализовать и использовать. Я провел целый день, читая теорию и документ, где EM используется для отслеживания самолета с использованием информации о местоположении, поступающей с радара. Честно говоря, я не думаю, что полностью понимаю основную идею. Может кто-нибудь указать мне на числовой …

117 regression  probability  mathematical-statistics  intuition  expectation-maximization 

В чем разница между вероятностью и статистикой, и почему они изучаются вместе?

116 probability  teaching  mathematical-statistics 

Недавно я нашел в статье Klammer, et al. утверждение, что p-значения должны быть равномерно распределены. Я верю авторам, но не могу понять, почему это так. Klammer, AA, Park, CY, и Stafford Noble, W. (2009) Статистическая калибровка функции SEQUEST XCorr . Журнал исследований протеома . 8 (4): 2106–2113.

115 p-value  uniform 

Для моего собственного понимания я заинтересован в том, чтобы вручную повторить вычисление стандартных ошибок оценочных коэффициентов, поскольку, например, они поставляются с выходными данными lm()функции R, но не смогли ее определить. Какая формула / реализация используется?

115 r  regression  standard-error  lm 

Первоначально это возникло в связи с некоторой работой, которую мы проводим с моделью для классификации естественного текста, но я упростил ее ... Возможно, слишком много. У вас есть синяя машина (по некоторым объективным научным показателям - она ​​синяя). Вы показываете это до 1000 человек. 900 говорят, что это синий. 100 …

114 probability 

У нас есть многомерный нормальный вектор Y∼N(μ,Σ)Y∼N(μ,Σ){\boldsymbol Y} \sim \mathcal{N}(\boldsymbol\mu, \Sigma) . Попробуйте разделить μμ\boldsymbol\mu и YY{\boldsymbol Y} на μ=[μ1μ2]μ=[μ1μ2]\boldsymbol\mu = \begin{bmatrix} \boldsymbol\mu_1 \\ \boldsymbol\mu_2 \end{bmatrix} Y=[y1y2]Y=[y1y2]{\boldsymbol Y}=\begin{bmatrix}{\boldsymbol y}_1 \\ {\boldsymbol y}_2 \end{bmatrix} с похожим разделением ΣΣ\Sigma на [Σ11Σ21Σ12Σ22][Σ11Σ12Σ21Σ22] \begin{bmatrix} \Sigma_{11} & \Sigma_{12}\\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} Тогда, (y1|y2=a)(y1|y2=a)({\boldsymbol y}_1|{\boldsymbol …

114 normal-distribution  conditional-probability 

Я не видел вопроса, сформулированного именно в этих терминах, и поэтому я задаю новый вопрос. Что мне интересно знать, так это не определение нейронной сети, а понимание реальной разницы с глубокой нейронной сетью. Для большего контекста: я знаю, что такое нейронная сеть и как работает обратное распространение. Я знаю, что …

114 neural-networks  deep-learning 

Я получаю этот вопрос достаточно часто в своей статистической консультационной работе, поэтому я решил опубликовать его здесь. У меня есть ответ, который размещен ниже, но мне было интересно услышать, что говорят другие. Вопрос: Если у вас есть две переменные, которые обычно не распределены, следует ли использовать rho Спирмена для корреляции?

113 correlation  normality-assumption  pearson-r  spearman-rho 

Этот комикс xkcd (Frequentists vs. Bayesians) высмеивает статистика, который часто приводит к ошибочным результатам. Однако мне кажется, что его рассуждения на самом деле верны в том смысле, что они следуют стандартной методике частых исследований. Таким образом, мой вопрос: «Правильно ли он применяет методологию частоты?» Если нет: что будет правильным выводом …

113 bayesian  frequentist 

Анализ основных компонентов (PCA) может использоваться для уменьшения размерности. После такого уменьшения размерности, как можно приблизительно восстановить исходные переменные / характеристики из небольшого числа главных компонентов? В качестве альтернативы, как можно удалить или удалить несколько основных компонентов из данных? Другими словами, как обратить вспять PCA? Учитывая, что PCA тесно связан …

113 pca  dimensionality-reduction  svd 

Поскольку я нахожу их увлекательными, мне бы хотелось услышать, что люди в этом сообществе считают наиболее интересным статистическим парадоксом и почему.

112 paradox