Статистика и большие данные

Я знаю, что физические и математические сообщества очень любят ArXiv, но как насчет статистики? Это принято размещать там до представления?

25 references  academia 

Я хотел бы показать, как значения определенных переменных (~ 15) меняются со временем, но я также хотел бы показать, как переменные отличаются друг от друга в каждом году. Итак, я создал этот сюжет: Но даже при изменении цветовой схемы или добавлении различных типов линий / форм это выглядит грязно. Есть …

25 r  data-visualization 

Предположим , что я бегу регрессию . Почему, выбирая главные основных компонентов X , модель сохраняет свою предсказательную силу на Y ?k X YY∼ XY~ИксY \sim XККkИксИксXYYY Я понимаю, что с точки зрения уменьшения размерности / выбора признаков, если v1, v2, . , , vКv1,v2,,,,vКv_1, v_2, ... v_k являются собственными …

25 regression  classification  pca  dimensionality-reduction  regularization 

lmerTestПакет предоставляет anova()функцию для линейных смешанных моделей с необязательно приближением Саттервейта ( по умолчанию) или Кенворд-Роже степеней свободы (DF). В чем разница между этими двумя подходами? Когда выбрать какой?

25 r  anova  mixed-model  lme4-nlme  degrees-of-freedom 

В некоторых лекциях и уроках, которые я видел, они предлагают разделить ваши данные на три части: обучение, проверка и тестирование. Но не ясно, как следует использовать набор тестовых данных, и как этот подход лучше, чем перекрестная проверка по всему набору данных. Допустим, мы сохранили 20% наших данных в качестве тестового …

25 machine-learning  cross-validation  validation 

Хорошо известно, что случайные леса достаточно хорошо справляются с различными задачами, и их называют кожевниками методов обучения . Существуют ли какие-либо проблемы или особые условия, в которых следует избегать использования случайного леса?

25 machine-learning  classification  random-forest 

У меня есть несколько вопросов, касающихся штрафа за ребро в контексте наименьших квадратов: βR i Dге= ( λ ID+ X'Икс)- 1Икс'Yβряdгезнак равно(λяD+Икс'Икс)-1Икс'Y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Выражение предполагает, что ковариационная матрица X сжимается в сторону диагональной матрицы, означая, что (при условии, что переменные стандартизируются до процедуры) корреляция между …

25 regression  pca  regularization  ridge-regression 

Предположим, у меня есть набор данных для контролируемой статистической задачи классификации, например, через байесовский классификатор. Этот набор данных состоит из 20 функций, и я хочу свести его к 2 функциям с помощью методов уменьшения размерности, таких как анализ основных компонентов (PCA) и / или линейный дискриминантный анализ (LDA). Оба метода …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Я магистрант CS в немецком университете, сейчас пишу свою диссертацию. Я закончу через два месяца, и мне придется принять очень трудное решение, если я продолжу работу над докторской диссертацией или найду работу в отрасли. Мои причины для получения докторской степени: Я очень любопытный человек , и я чувствую , что …

25 machine-learning  data-mining  careers 

В простой регрессионной модели, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, оценки OLS и коррелированы.β^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} Формула для корреляции между двумя оценками (если я вывел ее правильно): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Вопросов: Что такое интуитивное объяснение наличия корреляции? Имеет ли наличие корреляции какие-либо важные последствия? Сообщение было …

25 regression  least-squares  estimators 

У меня путаница в оценках предвзятого максимального правдоподобия (ML). Математика всей концепции довольно ясна для меня, но я не могу понять интуитивное обоснование этого. Учитывая определенный набор данных, который имеет выборки из распределения, который сам является функцией параметра, который мы хотим оценить, оценщик ML приводит к значению для параметра, который, …

25 maximum-likelihood  bias 

Рассмотрим пример R ниже: plot( hclust(dist(USArrests), "ave") ) Что именно означает ось Y "Высота"? Глядя на Северную Каролину и Калифорнию (скорее слева). Калифорния "ближе" к Северной Каролине, чем Аризона? Могу ли я сделать эту интерпретацию? Гавайи (справа) присоединяются к группе довольно поздно. Я могу видеть это, поскольку это "выше" чем …

25 interpretation  hierarchical-clustering  dendrogram 

Я выполнил повторный проект, в ходе которого я протестировал 30 мужчин и 30 женщин в трех разных заданиях. Я хочу понять, как поведение мужчин и женщин отличается и как это зависит от задачи. Я использовал оба пакета lmer и lme4, чтобы исследовать это, однако я застрял при попытке проверить предположения …

25 r  mixed-model  assumptions  lme4-nlme 

Я хотел бы сгенерировать матрицу случайной корреляции размером , чтобы присутствовали умеренно сильные корреляции: n × nCC\mathbf Cn×nn×nn \times n квадратная вещественная симметричная матрица размера , например ;n = 100n×nn×nn \times nn=100n=100n=100 положительно определенный, то есть со всеми собственными значениями, действительными и положительными; полный ранг; все диагональные элементы равны ;111 …

25 random-generation  covariance-matrix  correlation-matrix 

Я пытаюсь получить лучшее понимание оценки плотности ядра. Использование определения из Википедии: https://en.wikipedia.org/wiki/Kernel_density_esvaluation#Definition ечас^( х ) = 1NΣNя = 1Кчас( х - хя)= 1н чΣNя = 1К( х - хячас)ечас^(Икс)знак равно1NΣязнак равно1NКчас(Икс-Икся)знак равно1NчасΣязнак равно1NК(Икс-Иксячас) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) Давайте возьмем в качестве …

25 r  kernel-smoothing  convolution