Статистика и большие данные

контекст В этом вопросе используется R, но речь идет об общих статистических вопросах. Я анализирую влияние факторов смертности (% смертности от болезней и паразитов) на скорость роста популяции моли с течением времени, когда популяция личинок отбиралась из 12 мест один раз в год в течение 8 лет. Данные о темпах …

17 model-selection  autocorrelation  residuals  panel-data  spatio-temporal 

Я не понимаю объяснения в Rфайле справки для эффектов () : Для линейной модели, подгоняемой lmили aov, эффектами являются некоррелированные значения с одной степенью свободы, полученные путем проецирования данных на последовательные ортогональные подпространства, генерируемые разложением QR во время процесса подбора. Кто-нибудь может объяснить, что это значит? Обращаются ли ортогональные подпространства …

17 r  regression 

У меня есть независимая переменная под названием «качество»; эта переменная имеет 3 способа реагирования (плохое качество; среднее качество; высокое качество). Я хочу ввести эту независимую переменную в мою множественную линейную регрессию. Когда у меня есть двоичная независимая переменная (фиктивная переменная, я могу кодировать 0/ 1), ее легко ввести в модель …

17 r  regression  categorical-data  multicollinearity  categorical-encoding 

В статье Википедии об анализе основных компонентов говорится, что Существуют эффективные алгоритмы для вычисления SVD без необходимости формирования матрицы , поэтому вычисление SVD теперь является стандартным способом вычисления анализа главных компонентов из матрицы данных, если только не требуется лишь несколько компонентов.XXXXTXXTXX^TX Может кто-нибудь сказать мне, каковы эффективные алгоритмы, о которых …

17 pca  algorithms  svd  numerics 

В настоящее время я пытаюсь понять принцип правдоподобия и, честно говоря, не понимаю его вообще. Итак, я напишу все свои вопросы в виде списка, даже если это могут быть довольно простые вопросы. Что именно означает фраза «вся информация» в контексте этого принципа? (как и вся информация в образце содержится в …

17 bayesian  likelihood  likelihood-principle 

Меня интересует, является ли "корреляция" трех переменных чем-то, и если что, что бы это было? Коэффициент корреляции моментов произведения Пирсона E{(X−μX)(Y−μY)}Var(X)Var(Y)−−−−−−−−−−−−√E{(X−μX)(Y−μY)}Var(X)Var(Y)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}} Теперь вопрос для 3 переменных: E{(X−μX)(Y−μY)(Z−μZ)}Var(X)Var(Y)Var(Z)−−−−−−−−−−−−−−−−−−√E{(X−μX)(Y−μY)(Z−μZ)}Var(X)Var(Y)Var(Z)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}} что-нибудь? В R это выглядит как нечто интерпретируемое: > a <- rnorm(100); b <- rnorm(100); c <- rnorm(100) > mean((a-mean(a)) * (b-mean(b)) …

17 correlation  pearson-r 

У меня есть следующая гистограмма данных подсчета. И я хотел бы приспособить к этому дискретное распределение. Я не уверен, как я должен идти об этом. Должен ли я сначала наложить на гистограмму дискретное распределение, скажем, отрицательное биномиальное распределение, чтобы получить параметры дискретного распределения, а затем выполнить тест Колмогорова – Смирнова …

17 r  poisson-distribution  discrete-data  computational-statistics  negative-binomial 

Интересно, в чем разница между многомерным стандартным нормальным распределением и гауссовой связкой, поскольку, когда я смотрю на функцию плотности, они кажутся мне одинаковыми. Моя проблема в том, почему гауссова связка вводится или какую пользу приносит гауссова связка, или в чем ее преимущество, когда гауссова связка является не чем иным, как …

17 normal-distribution  copula 

Суть моего вопроса заключается в следующем: Пусть Y∈RnY∈RnY \in \mathbb{R}^n быть многомерной нормальной случайной величиной со средним и ковариационной матрицей . Пусть , то есть . Как сравнить AIC модели, подходящей для наблюдаемых реализаций с моделью, подходящей для наблюдаемых реализаций Z ?μμ\muΣΣ\SigmaZ:=log(Y)Z:=log⁡(Y)Z := \log(Y)Zi=log(Yi),i∈{1,…,n}Zi=log⁡(Yi),i∈{1,…,n}Z_i = \log(Y_i), i \in \{1,\ldots,n\}YYYZZZ Мой …

17 data-transformation  aic  likelihood 

В небольшой проблеме классификации текста, которую я рассматривал, Наивный Байес демонстрирует производительность, аналогичную или превышающую SVM, и я был очень смущен. Мне было интересно, какие факторы определяют триумф одного алгоритма над другим. Существуют ли ситуации, когда нет смысла использовать наивный байесовский метод вместо SVM? Может кто-то пролить свет на это?

17 machine-learning  classification  svm  naive-bayes 

Как я могу понять, что делает ядро ​​RBF в SVM? Я имею в виду, что понимаю математику, но есть ли способ почувствовать, когда это ядро ​​будет полезным? Будут ли результаты от kNN связаны с SVM / RBF, поскольку RBF содержит векторные расстояния? Есть ли способ почувствовать ядро ​​полинома? Я знаю, …

17 svm  kernel-trick 

Я знаю, что и вот как далеко я продвинулся, когда вычислил дисперсию:β0^=y¯−β1^x¯β0^=y¯−β1^x¯\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x} Var(β0^)=Var(y¯−β1^x¯)=Var((−x¯)β1^+y¯)=Var((−x¯)β1^)+Var(y¯)=(−x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2∑i=1n(xi−x¯)2Var(β0^)=Var(y¯−β1^x¯)=Var((−x¯)β1^+y¯)=Var((−x¯)β1^)+Var(y¯)=(−x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2∑i=1n(xi−x¯)2\begin{align*} Var(\hat{\beta_0}) &= Var(\bar{y} - \hat{\beta_1}\bar{x}) \\ &= Var((-\bar{x})\hat{\beta_1}+\bar{y}) \\ &= Var((-\bar{x})\hat{\beta_1})+Var(\bar{y}) \\ &= (-\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= (\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= \frac{\sigma^2 (\bar{x})^2}{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})^2} \end{align*} но это далеко, как я получил. …

17 regression  self-study 

Прежде чем задать свой вопрос, позвольте мне рассказать вам немного о том, что я знаю о статистике, чтобы вы лучше понимали типы ресурсов, которые я ищу. Я аспирант по психологии, и поэтому использую статистику почти каждый день. К настоящему времени я знаком с довольно широким спектром методов, в основном потому, …

17 mathematical-statistics  references 

С фиксированным априором оценки ML (частота - максимальная вероятность) и MAP (байесовская апостериорная) совпадают. В целом, однако, я говорю о точечных оценках, полученных как оптимизаторы некоторой функции потерь. Т.е. (Bayesian) х (x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

Беспристрастная взвешенная дисперсия уже рассматривалась здесь и в других местах, но, похоже, все еще существует удивительная путаница. Похоже, что существует консенсус в отношении формулы, представленной в первой ссылке, а также в статье Википедии . Это также выглядит как формула, используемая R, Mathematica и GSL (но не MATLAB). Тем не менее, …

17 variance  weighted-mean  weighted-data