Вопросы с тегом «correlation»

Я хотел бы генерировать пары случайных чисел с определенной корреляцией. Однако обычный подход использования линейной комбинации двух нормальных переменных здесь недопустим, поскольку линейная комбинация равномерных переменных больше не является равномерно распределенной переменной. Мне нужно, чтобы две переменные были одинаковыми. Любая идея о том, как генерировать пары однородных переменных с заданной …

14 correlation  random-generation  uniform 

Мне интересно, есть ли простой способ обнаружения выбросов. Для одного из моих проектов, который был в основном корреляцией между количеством раз, когда респонденты участвуют в физической активности в неделю, и количеством раз, когда они едят вне дома (фаст-фуд) в неделю, я нарисовал диаграмму рассеяния и буквально удалил Точки данных, которые …

14 correlation  outliers 

Это, вероятно, демонстрирует фундаментальное отсутствие понимания того, как работают частичные корреляции. У меня есть 3 переменные, х, у, я. Когда я контролирую для z, корреляция между x и y увеличивается по сравнению с корреляцией между x и y, когда z не контролировался. Имеет ли это смысл? Я склонен думать, что …

14 correlation 

У меня есть два временных ряда S и T. Они имеют одинаковую частоту и одинаковую длину. Я хотел бы рассчитать (используя R) корреляцию между этой парой (т.е. S и T), а также иметь возможность рассчитать значимость корреляции), чтобы я мог определить, является ли корреляция случайной или нет. Я хотел бы …

14 r  time-series  correlation 

Контекст : Я хочу , чтобы нарисовать линию в диаграмме рассеяния , что не появляется параметрическими, поэтому я использую geom_smooth()в ggplotв R. Он автоматически возвращает geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to …

14 r  gam  splines  loess  r  data-visualization  boxplot  mathematical-statistics  theory  sufficient-statistics  machine-learning  classification  correlation  svm  feature-selection  probability  stochastic-processes  machine-learning  reinforcement-learning 

Я смотрел на страницу Википедии для корреляции расстояний, где она, кажется, характеризуется тем, как ее можно рассчитать. В то время как я мог делать вычисления, я изо всех сил пытаюсь получить, какие меры корреляции расстояния и почему вычисления выглядят, как они делают. Есть ли (или многие) более интуитивная характеристика дистанционной …

14 correlation  distance  intuition  distance-covariance 

Я получаю некоторые ошеломляющие результаты для корреляции суммы с третьей переменной, когда два предиктора отрицательно коррелируют. Что вызывает эти недоумения результаты? Пример 1: корреляция между суммой двух переменных и третьей переменной Рассмотрим формулу 16.23 на странице 427 текста Гилфорда 1965 года, показанного ниже. Недоумение: если обе переменные коррелируют .2 с …

13 correlation  multiple-regression 

По моему мнению, коррелированные входные данные должны привести к переоснащению в нейронных сетях, потому что сеть узнает корреляцию, например, шум в данных. Это верно?

13 correlation  neural-networks  overfitting 

Я хочу проверить выборочную корреляцию на значимость, используя p-значения, то естьrrr H0:ρ=0,H1:ρ≠0.H0:ρ=0,H1:ρ≠0.H_0: \rho = 0, \; H_1: \rho \neq 0. Я понял, что могу использовать z-преобразование Фишера для вычисления zobs=n−3−−−−−√2ln(1+r1−r)zobs=n−32ln⁡(1+r1−r)z_{obs}= \displaystyle\frac{\sqrt{n-3}}{2}\ln\left(\displaystyle\frac{1+r}{1-r}\right) и найти значение р по p=2P(Z>zobs)p=2P(Z>zobs)p = 2P\left(Z>z_{obs}\right) используя стандартное нормальное распределение. Мой вопрос: насколько велико должно быть чтобы …

13 correlation  sample-size  fisher-transform 

У меня есть матрица из 1000 наблюдений и 50 переменных, каждая из которых измеряется по 5-балльной шкале. Эти переменные организованы в группы, но в каждой группе нет одинакового количества переменных. Я хотел бы рассчитать два типа корреляций: Корреляция в группах переменных (среди характеристик): некоторая мера того, измеряют ли переменные в …

13 correlation  psychometrics  scales 

Каковы плюсы и минусы использования LARS [1] по сравнению с использованием координатного спуска для подбора L1-регуляризованной линейной регрессии? Я в основном заинтересован в аспектах производительности (мои проблемы, как правило, Nисчисляются сотнями тысяч и p<20). Однако, любые другие идеи также будут оценены. редактировать: так как я разместил вопрос, chl любезно указал …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Я занимался настройкой модели caret, но затем перезапустил модель, используя gbmпакет. Насколько я понимаю, caretпакет использует gbmи вывод должен быть одинаковым. Тем не менее, только быстрый запуск теста data(iris)показывает несоответствие в модели около 5% с использованием RMSE и R ^ 2 в качестве метрики оценки. Я хочу найти оптимальную производительность …

13 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

Для иерархической кластеризации я часто вижу следующие две «метрики» (они точно не говорят) для измерения расстояния между двумя случайными переменными XXX и YYY : \newcommand{\Cor}{\mathrm{Cor}} d1(X,Y)d2(X,Y)=1−|Cor(X,Y)|,=1−(Cor(X,Y))2d1(X,Y)=1−|Cor(X,Y)|,d2(X,Y)=1−(Cor(X,Y))2\begin{align} d_1(X,Y) &= 1-|\Cor(X,Y)|, \\ d_2(X,Y) &= 1-(\Cor(X,Y))^2 \end{align} ли либо выполнить неравенство треугольника? Если так, то как мне доказать это, кроме как просто делать …

13 correlation  clustering  distance  metric 

Что касается названия, идея состоит в том, чтобы использовать взаимную информацию, здесь и после MI, для оценки «корреляции» (определяемой как «насколько я знаю об A, когда я знаю B») между непрерывной переменной и категориальной переменной. Я расскажу вам свои мысли по этому вопросу через минуту, но прежде чем посоветовать вам …

13 correlation  information-theory  mutual-information 

Являются ли коэффициенты корреляции фи и Мэтьюса одним и тем же понятием? Как они связаны или эквивалентны коэффициенту корреляции Пирсона для двух двоичных переменных? Я предполагаю, что двоичные значения равны 0 и 1. Корреляция Пирсона между двумя случайными величинами Бернулли и :уxxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = \frac{\mathbb{E} [(x - \mathbb{E}[x])(y - …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix