Статистика и большие данные

Мы имеем дело с логнормальным распределением в финансовом курсе, и мой учебник просто утверждает, что это правда, что я нахожу разочаровывающим, поскольку мой математический фон не очень силен, но я хочу интуицию. Кто-нибудь может показать мне, почему это так?

13 distributions  expected-value  lognormal 

Дуглас Бейтс утверждает, что следующие модели эквивалентны «если матрица дисперсии-ковариации для векторно-значных случайных эффектов имеет особую форму, называемую составной симметрией» ( слайд 91 в этой презентации ): m1 <- lmer(y ~ factor + (0 + factor|group), data) m2 <- lmer(y ~ factor + (1|group) + (1|group:factor), data) В частности, Бейтс …

13 r  anova  mixed-model  repeated-measures  lme4-nlme 

Я читал этот вопрос о крупномасштабной регрессии ( ссылка ), где Уубер указал на интересный момент: «Практически любой выполняемый вами статистический тест будет настолько мощным, что почти наверняка будет выявлен« значительный »эффект. Вы должны уделять больше внимания статистической значимости, такой как величина эффекта, а не значимость». --- whuber Мне было …

13 regression  statistical-significance 

Я запутался между двумя терминами «функция, генерирующая вероятность» и «функция, генерирующая момент». Как эти термины отличаются?

13 probability  distributions  terminology  intuition  mgf 

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 2 года назад . Эта строка возвращает первые 4 строки в кадре данных combinedдляfeature_a combined.iloc[0:4]["feature_a"] Как и ожидалось, следующая строка возвращает 2-ю, 4-ю …

13 python  pandas 

Я хотел знать, сколько машинного обучения требует оптимизации. Из того, что я слышал, статистика - важная математическая тема для людей, работающих с машинным обучением. Точно так же, насколько важно для человека, работающего с машинным обучением, узнать о выпуклой или невыпуклой оптимизации?

13 machine-learning  optimization 

Мой работодатель в настоящее время проводит общекорпоративный опрос об отношении к офису, т.е. о настроениях. В прошлом они открывали опрос для всех областей бизнеса (допустим, 10 очень разных отделов) и всех сотрудников в них (в общей сложности 1000 сотрудников во всей компании). Количество сотрудников в каждом отделе не равно и …

13 survey  survey-sampling 

Я чувствую себя действительно глупо, даже задавая такой простой вопрос, но здесь идет: Если у меня есть случайная величина XXX которая может принимать значения 000 и 111 , с P(X=1)=pP(X=1)=pP(X=1) = p и P(X=0)=1−pP(X=0)=1−pP(X=0) = 1-p , то, если я вытяну из нее nnn выборок, я получу биномиальное распределение. Среднее …

13 variance  binomial 

Я наткнулся на доказательство одного из свойств модели ARCH, которое гласит, что если E(X2t)&lt;∞E(Xt2)&lt;∞\mathbb{E}(X_t^2) < \infty , то {Xt}{Xt}\{X_t\} является стационарным тогда и только тогда, когда ∑pi=1bi&lt;1∑i=1pbi&lt;1\sum_{i=1}^pb_i < 1 где модель ARCH: Xt=σtϵtXt=σtϵtX_t = \sigma_t\epsilon_t σ2t=b0+b1X2t−1+...bpX2t−pσt2=b0+b1Xt−12+...bpXt−p2\sigma_t^2 = b_0 + b_1X_{t-1}^2 + ... b_pX_{t-p}^2 Основная идея доказательства состоит в том, чтобы …

13 mathematical-statistics  stationarity  garch 

норма является уникальной (по крайней мере частично) , потому что находится на границе между невыпуклые и выпуклы. норма является «наиболее разреженным» выпуклая норма (правда?).L1L1L_1p=1p=1p=1L1L1L_1 Я понимаю, что евклидова норма имеет корни в геометрии и имеет четкую интерпретацию, когда измерения имеют одинаковые единицы. Но я не понимаю, почему он используется преимущественно …

13 regression  regularization  sparse 

У меня есть необработанные данные, которые имеют около 20 столбцов (20 функций). Десять из них являются непрерывными данными, а 10 - категориальными. Некоторые из категориальных данных могут иметь около 50 различных значений (штаты США). После предварительной обработки данных 10 непрерывных столбцов превращаются в 10 подготовленных столбцов, а 10 категориальных значений …

13 machine-learning  neural-networks  tensorflow  data-preprocessing  theano 

Я уверен, что все здесь уже знают, PDF Бета-распределения X∼B(a,b)Икс~В(a,б)X \sim B(a,b) дается f(x)=1B(a,b)xa−1(1−x)b−1е(Икс)знак равно1В(a,б)Иксa-1(1-Икс)б-1f(x) = \frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1} Я всюду охотился за объяснениями происхождения этой формулы, но я не могу ее найти. Кажется, что каждая статья, которую я нашел в бета-дистрибутиве, дает эту формулу, иллюстрирует некоторые из ее форм, а затем …

13 probability  mathematical-statistics  pdf  beta-distribution  history 

В документе DeepMind 2015 года об обучении глубокому подкреплению говорится, что «предыдущие попытки объединить RL с нейронными сетями в значительной степени потерпели неудачу из-за нестабильного обучения». Затем в документе перечислены некоторые причины этого, основанные на корреляции между наблюдениями. Пожалуйста, кто-нибудь может объяснить, что это значит? Является ли это формой переоснащения, …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Скажем, у нас есть проблема бинарной классификации с в основном категориальными особенностями. Мы используем некоторую нелинейную модель (например, XGBoost или Случайные Леса), чтобы изучить ее. Стоит ли еще беспокоиться о мультиколлинеарности? Почему? Если ответ на вышеприведенный ответ верен, как с этим бороться, учитывая, что используются нелинейные модели этих типов?

13 classification  random-forest  multicollinearity  xgboost 

Я знаю, что в линейной регрессии переменная отклика должна быть непрерывной, но почему это так? Кажется, я не могу найти в Интернете ничего, что объясняет, почему я не могу использовать дискретные данные для переменной ответа.

13 regression  linear