Статистика и большие данные

Если мой результат одностороннего t-теста значителен, но размер выборки невелик (например, ниже 20 или около того), могу ли я доверять этому результату? Если нет, как я должен иметь дело и / или интерпретировать этот результат?

17 statistical-significance  t-test  interpretation  sample-size  small-sample 

Предположим, что у нас есть выборки двух независимых случайных величин Бернулли, Ber(θ1)Ber(θ1)\mathrm{Ber}(\theta_1) и Ber(θ2)Ber(θ2)\mathrm{Ber}(\theta_2) . Как доказать, что (X¯1−X¯2)−(θ1−θ2)θ1(1−θ1)n1+θ2(1−θ2)n2−−−−−−−−−−−−−−√→dN(0,1)(X¯1−X¯2)−(θ1−θ2)θ1(1−θ1)n1+θ2(1−θ2)n2→dN(0,1)\frac{(\bar X_1-\bar X_2)-(\theta_1-\theta_2)}{\sqrt{\frac{\theta_1(1-\theta_1)}{n_1}+\frac{\theta_2(1-\theta_2)}{n_2}}}\xrightarrow{d} \mathcal N(0,1)? Предположим, что n1≠n2n1≠n2n_1\neq n_2 .

17 distributions  sampling  bernoulli-distribution 

Стандартным определением выброса для графика Бокса и Вискера являются точки вне диапазона , где I Q R = Q 3 - Q 1, а Q 1 - первый квартиль и Q 3 - третий квартиль данных.{Q1−1.5IQR,Q3+1.5IQR}{Q1−1.5IQR,Q3+1.5IQR}\left\{Q1-1.5IQR,Q3+1.5IQR\right\}IQR=Q3−Q1IQR=Q3−Q1IQR= Q3-Q1Q1Q1Q1Q3Q3Q3 На чем основано это определение? При большом количестве точек даже совершенно нормальное распределение …

17 outliers  normality-assumption  qq-plot  boxplot 

Мы с тобой решили сыграть в игру, в которой мы по очереди подбрасываем монету. Первый игрок, который перевернет 10 голов, выигрывает игру. Естественно, есть спор о том, кто должен идти первым. Моделирование этой игры показывает, что игрок, который переворачивает первый, выигрывает на 6% больше, чем игрок, который переворачивает второй (первый …

17 probability  python  binomial  negative-binomial 

Я узнал о модели пропорционального риска Кокса. У меня большой опыт подбора моделей логистической регрессии, и поэтому для построения интуиции я сравнивал модели, подходящие для использования coxphиз «выживания» R, с моделями логистической регрессии, подходящими для использования glmс family="binomial". Если я запускаю код: library(survival) s = Surv(time=lung$time, event=lung$status - 1) summary(coxph(s …

17 r  logistic  survival  cox-model  power 

Я хотел бы создать образцы из синей области, определенной здесь: Наивным решением является использование выборки отбраковки на единицу площади, но это обеспечивает эффективность только (~ 21,4%).1−π/41-π/41-\pi/4 Есть ли какой-нибудь способ, которым я могу сделать выборку более эффективно?

17 probability  sampling  monte-carlo  random-generation 

Если у вас есть половина страницы, чтобы объяснить отсев , как бы вы поступили? Какое обоснование стоит за этой техникой?

17 neural-networks  deep-learning  regularization  dropout 

Можете ли вы привести пример оценки MLE среднего значения, которое смещено? Я не ищу пример, который нарушает оценки MLE в целом, нарушая условия регулярности. Все примеры, которые я вижу в Интернете, относятся к расхождению, и я не могу найти ничего, связанного со средним значением. РЕДАКТИРОВАТЬ @MichaelHardy предоставил пример, в котором …

17 maximum-likelihood  mean  bias 

Каково измерение VC дерева решений с k разбиениями в двух измерениях? Допустим, модель CART и единственные допустимые разбиения параллельны осям. Таким образом, для одного разбиения мы можем заказать 3 точки в треугольнике, а затем для любой маркировки точек мы можем получить идеальный прогноз (то есть: разбитые точки) Но как насчет …

17 cart  vc-dimension 

Этот перекрестный вопрос, в котором задавался вопрос об имитации выборки с условием наличия фиксированной суммы, напомнил мне проблему, поставленную мне Джорджем Казеллой . Учитывая параметрическую модель f(x|θ)f(x|θ)f(x|\theta) и iid-образец из этой модели (X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n) , MLE of определяется как Для заданного значения \ theta существует ли общий способ имитации образца iid …

17 maximum-likelihood  conditional-probability  random-variable  simulation  t-distribution 

Для векторной нормы L2-норма или «евклидово расстояние» является широко используемым и интуитивным определением. Но почему определение «наиболее используемой» или «стандартной» для матрицы является спектральной нормой , а не нормой Фробениуса (которая аналогична норме L2 для векторов)? Имеет ли это какое-то отношение к итерационным алгоритмам / степеням матрицы (если спектральный радиус …

17 matrix  linear-algebra 

Я понимаю, что такое «проклятие размерности», и я выполнил некоторые задачи по оптимизации больших размеров и знаю проблему экспоненциальных возможностей. Однако я сомневаюсь, существует ли «проклятие размерности» в большинстве данных реального мира (ну, давайте на минуту отложим изображения или видео, я думаю о таких данных, как демографические данные клиентов и …

17 clustering  dimensionality-reduction  high-dimensional 

Я использую LASSO, в котором есть некоторые категориальные предикторы переменных и некоторые непрерывные. У меня есть вопрос о категориальных переменных. Первый шаг, который я понимаю, - разбить каждого из них на пустышки, стандартизировать их для справедливого наказания, а затем регрессировать. Существует несколько вариантов обработки фиктивных переменных: Включите все манекены, кроме …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

Я читал о «Джеффри до» в википедии: « Джеффри до» и видел, что после каждого примера описывается, как преобразование, стабилизирующее дисперсию, превращает «Джеффриса» в униформу. Например, для случая Бернулли говорится, что для монеты, которая является головой с вероятностью γ∈[0,1]γ∈[0,1]\gamma \in [0,1] , модель испытания Бернулли дает то, что для Джефриса …

17 bayesian  prior  jeffreys-prior 

Этот вопрос является продолжением или попыткой прояснить возможную путаницу в отношении темы, которую я и многие другие находим немного трудной в отношении различий между AIC и BIC. В очень хорошем ответе @Dave Kellen на эту тему ( /stats//a/767/30589 ) мы читаем: Ваш вопрос подразумевает, что AIC и BIC пытаются ответить …

17 model-selection  aic  bic