Статистика и большие данные

Я хочу сравнить среднее абсолютное отклонение со стандартным отклонением в общем случае с этим определением: MA D = 1n - 1Σ1N| Икся- μ | ,SD = ∑N1( хя- μ )2n - 1-----------√MAD=1n−1∑1n|xi−μ|,SD=∑1n(xi−μ)2n−1MAD = \frac{1}{n-1}\sum_1^n|x_i - \mu|, \qquad SD = \sqrt{\frac{\sum_1^n(x_i-\mu)^2}{n-1}} где μ = 1NΣN1Иксяμ=1n∑1nxi\mu =\frac{1}{n}\sum_1^n x_i. Верно ли, что MA …

9 mean  standard-deviation  mean-absolute-deviation 

Я пытаюсь иметь дело с анализом времени на событие, используя повторяющиеся двоичные результаты. Предположим, что время до события измеряется днями, но на данный момент мы делим время на недели. Я хочу приблизить оценку Каплана-Мейера (но учесть ковариаты), используя повторяющиеся двоичные результаты. Это может показаться окольным путем, но я исследую, как …

9 mixed-model  survival  random-effects-model  recurrent-events 

Я нашел решение, которое гласило, что если квадрат временного ряда является стационарным, то же самое происходит и с исходным временным рядом, и наоборот. Однако я не могу доказать это, у кого-то есть идея, если это правда, и если это как вывести это?

9 time-series  self-study  data-transformation  stationarity 

Я внедряю перекрестную проверку и вычисляю метрики ошибок, такие как RMSE, , MAE, MSE и т. Д.R2R2R^2 Могут ли RMSE и MAE иметь одинаковое значение?

9 cross-validation  rms  mae 

В настоящее время я изучаю регрессию гребня, и меня немного смущает вопрос о наказании за более сложные модели (или определение более сложной модели). Из того, что я понимаю, сложность модели не обязательно соотносится с полиномиальным порядком. Итак: - более сложная модель, чем:2 + 3 + 4 х2+ 5 х3+ 6 …

9 regression  regularization  hyperparameter 

Предположим, что X1X1X_1 и X2X2X_2 - независимые геометрические случайные величины с параметром ppp . Какова вероятность того, что X1≥X2X1≥X2X_1 \geq X_2 ? Я запутался в этом вопросе, потому что нам ничего не говорят о X1X1X_1 и X2X2X_2 кроме геометрических. Разве это не будет 50%50%50\% потому что X1X1X_1 и X2X2X_2 могут …

9 self-study  random-variable  geometric-distribution 

Предположим , у меня есть три независимые группы, со средним значением μ1, μ2, μ3μ1, μ2, μ3\mu_1,~ \mu_2,~\mu_3 соответственно. Как я могу проверить, μ1&lt;μ2&lt;μ3μ1&lt;μ2&lt;μ3\mu_1 < \mu_2 <\mu_3 или нет, используя n1, n2, n3n1, n2, n3n_1,~n_2,~n_3 образца из каждой группы? Я хотел бы знать некоторую общую методологию, а не подробный расчет. Я …

9 hypothesis-testing  multiple-comparisons  isotonic 

Рассмотрим Байеса задней . Асимптотически его максимум возникает при оценке MLE , которая просто максимизирует вероятность .θ∣Xθ∣X\theta\mid Xθ^θ^\hat \thetaargminθfθ(X)argminθfθ(X)\operatorname{argmin}_\theta\, f_\theta(X) Все эти концепции - байесовские априоры, максимизирующие вероятность - звучат сверхпринципно и вовсе не произвольно. Там не журнал в поле зрения. Тем не менее, MLE минимизирует расхождение KL между реальным …

9 bayesian  maximum-likelihood  kullback-leibler 

Поэтому я читал некоторые книги (или их части) по моделированию (в частности, «Стратегии регрессионного моделирования» Ф. Харрелла), поскольку моя текущая ситуация сейчас заключается в том, что мне нужно создать логистическую модель, основанную на данных двоичного отклика. У меня есть как непрерывные, категориальные, так и двоичные данные (предикторы) в моем наборе …

9 logistic  predictive-models  feature-selection  regression-strategies 

Представьте, что у вас есть многоугольник, определенный набором координат и его центр масс находится в . Вы можете рассматривать полигон как равномерное распределение с полигональной границей. (x1,y1)...(xn,yn)(x1,y1)...(xn,yn)(x_1,y_1)...(x_n,y_n)(0,0)(0,0)(0,0) Мне нужен метод, который найдет ковариационную матрицу многоугольника . Я подозреваю, что ковариационная матрица многоугольника тесно связана со вторым моментом площади , но …

9 pca  covariance-matrix  polygon 

В scikit изучают документы по калибровке вероятности, они сравнивают логистическую регрессию с другими методами и отмечают, что случайный лес менее хорошо откалиброван, чем логистическая регрессия. Почему логистическая регрессия хорошо откалибрована? Как можно испортить калибровку логистической регрессии (а не то, что кто-то хотел бы - просто как упражнение)?

9 regression  logistic  calibration 

Я работаю над проблемой многомерного вывода (около 2000 параметров модели), для которой мы можем надежно выполнить оценку MAP, найдя глобальный максимум логарифмического аппроксимации, используя комбинацию градиентной оптимизации и генетического алгоритма. Я очень хотел бы иметь возможность сделать некоторую оценку неопределенности параметров модели в дополнение к нахождению оценки MAP. Мы можем …

9 bayesian  uncertainty  high-dimensional  variational-bayes 

Я пытаюсь получить более ясную интуицию: «Если AAA делает BBB более вероятным, то BBB делает AAA более вероятным», т.е. Пусть n(S)n(S)n(S) обозначает размер пространства, в котором находятся AAA и BBB , тогда Утверждение: P(B|A)&gt;P(B)P(B|A)&gt;P(B)P(B|A)>P(B) поэтому n(AB)/n(A)&gt;n(B)/n(S)n(AB)/n(A)&gt;n(B)/n(S)n(AB)/n(A) > n(B)/n(S) поэтому n(AB)/n(B)&gt;n(A)/n(S)N(AВ)/N(В)&gt;N(A)/N(S)n(AB)/n(B) > n(A)/n(S) который является P(A|B)&gt;P(A)п(A|В)&gt;п(A)P(A|B)>P(A) Я понимаю математику, но почему …

9 probability  inference  conditional-probability  intuition  association-measure 

В книге «глубокое обучение Франсуа Шоле с Python» говорится: В результате настройка конфигурации модели на основе ее производительности на наборе проверки может быстро привести к подгонке к набору проверки, даже если ваша модель никогда не обучалась непосредственно этому. Центральное место в этом явлении занимает понятие утечки информации. Каждый раз, когда …

9 neural-networks  cross-validation  hyperparameter 

Рассмотрим случай, описанный ниже, от Peacock (1972). Этот отрывок, кажется, подразумевает, что молодой статист делает умное, правильное заявление. А он?

9 experiment-design  clinical-trials