Статистика и большие данные

У меня очень простая проблема, но я не могу найти правильный инструмент для ее решения. У меня есть некоторая последовательность векторов одинаковой длины. Теперь я хотел бы обучить LSTM RNN на выборке из этих последовательностей, а затем сделать это для предсказания новой последовательности векторов длины на основе нескольких векторов праймирования …

19 neural-networks  python  lstm 

Я пытаюсь получить интуитивное понимание того, как анализ главных компонентов (PCA) работает в предметном (двойном) пространстве . Рассмотрим двумерный набор данных с двумя переменными, x1x1x_1 и x2x2x_2 , и nnn точками данных (матрица данных XX\mathbf X имеет n×2n×2n\times 2 и предполагается, что она центрирована). Обычное представление PCA состоит в том, …

19 pca  linear-algebra  intuition  geometry 

У CrossValidated есть несколько вопросов о том, когда и как применять коррекцию смещения редкого события, разработанную King and Zeng (2001) . Я ищу что-то другое: минимальную демонстрацию, основанную на симуляции, которая существует. В частности, король и дзенг «... в данных по редким событиям смещения вероятностей могут быть существенно значимыми с …

19 r  logistic  simulation  bias  rare-events 

Ниже приведен график glmnet с альфа-значением по умолчанию (1, следовательно, лассо) с использованием mtcarsнабора данных в R с использованием mpgв качестве DV и других в качестве переменных-предикторов. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Что мы можем сделать вывод из этого графика относительно различных переменных, особенно am, cylи wt(красные, черные и светло - голубые линий)? …

19 regression  feature-selection  lasso  glmnet 

По-видимому, коэффициент корреляции Пирсона параметрический, а число Спирмена непараметрическое. У меня проблемы с пониманием этого. Насколько я понимаю, Пирсон вычисляется как и вычисляется таким же образом, за исключением того, что мы подставляем все значения в их ранги.рх у= c o v ( X, Y)σИксσYрИксYзнак равносоv(Икс,Y)σИксσY r_{xy} = \frac{cov(X,Y)}{\sigma_x\sigma_y} Википедия говорит …

19 nonparametric  pearson-r  parametric  spearman-rho 

Я использую разложение Холецкого для моделирования коррелированных случайных величин с учетом матрицы корреляции. Дело в том, что результат никогда не воспроизводит структуру корреляции так, как он задан. Вот небольшой пример на Python, чтобы проиллюстрировать ситуацию. import numpy as np n_obs = 10000 means = [1, 2, 3] sds = [1, …

19 correlation  random-generation  cholesky 

Я прочитал эту замечательную статью Дэвида Колкхуна: исследование уровня ложных открытий и неправильного толкования р-значений (2014). По сути, он объясняет, почему частота ложных обнаружений (FDR) может достигать даже если мы контролируем ошибку типа I с α = 0,05 .30 %30%30\%α = 0,05αзнак равно0,05\alpha=0.05 Однако я все еще не понимаю, что …

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

Если у нас есть 2 нормальные некоррелированные случайные величины то мы можем создать 2 коррелированные случайные величины с формулойИкс1, X2X1,X2X_1, X_2 Y= ρ X1+ 1 - ρ2-----√Икс2Y=ρX1+1−ρ2X2Y=\rho X_1+ \sqrt{1-\rho^2} X_2 и тогда у будет корреляция с .ρ X 1YYYρρ\rhoИкс1X1X_1 Может кто-нибудь объяснить, откуда взялась эта формула?

19 correlation  normal-distribution  covariance 

Мое понимание t-SNE и приближения Барнса-Хата заключается в том, что все точки данных необходимы для того, чтобы все силовые взаимодействия могли быть рассчитаны одновременно, и каждая точка могла быть скорректирована на 2-й (или более низкой размерности) карте. Существуют ли версии t-sne, которые могут эффективно работать с потоковыми данными? Поэтому, если …

19 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

Я действительно заинтересован в процедуре эластичной сетки для усадки / выбора предиктора. Это кажется очень мощным. Но с научной точки зрения я не знаю, что делать, когда получу коэффициенты. На какой вопрос я отвечаю? Это те переменные, которые больше всего влияют на этот результат, и это те коэффициенты, которые дают …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

В учебниках и лекциях на YouTube я много узнал об итерационных моделях, таких как бустинг, но я никогда не видел ничего о получении интервала прогнозирования. Перекрестная проверка используется для следующего: Выбор модели : попробуйте разные модели и выберите ту, которая подходит лучше всего. В случае повышения используйте CV для выбора …

19 cross-validation  boosting  prediction-interval 

RNN может использоваться для прогнозирования или преобразования последовательности в последовательность. Но как RNN можно использовать для классификации? Я имею в виду, мы даем всей последовательности одну метку.

19 machine-learning  neural-networks  rnn 

За исключением того факта, что доходность может быть отрицательной, в то время как цены должны быть положительными, есть ли какая-либо другая причина, по которой моделирование цен на акции является логарифмическим нормальным распределением, а моделирование доходности акций - нормальным распределением?

19 normal-distribution  lognormal  finance 

Каковы некоторые теоремы, которые могут объяснить (то есть, в целом), почему данные реального мира могут нормально распределяться? Есть два, о которых я знаю: Центральная предельная теорема (конечно), которая говорит нам, что сумма нескольких независимых случайных величин со средним и дисперсией (даже если они не распределены одинаково) имеет тенденцию быть нормально …

19 normal-distribution  central-limit-theorem 

Рассмотрим следующие данные из двустороннего дизайна предметов: df <- "http://personality-project.org/r/datasets/R.appendix4.data" df <- read.table(df,header=T) head(df) Observation Subject Task Valence Recall 1 1 Jim Free Neg 8 2 2 Jim Free Neu 9 3 3 Jim Free Pos 5 4 4 Jim Cued Neg 7 5 5 Jim Cued Neu 9 6 …

19 mixed-model  repeated-measures  model-selection  lme4-nlme  likelihood-ratio