Статистика и большие данные

В вопросе, приведенном в другом месте на этом сайте, в нескольких ответах упоминалось, что AIC эквивалентна перекрестной проверке с пропуском (LOO) и что BIC эквивалентна перекрестной проверке в K-кратном размере. Есть ли способ эмпирически продемонстрировать это в R так, чтобы методы, задействованные в LOO и K-кратном прояснении, стали ясными и …

26 r  aic  cross-validation  bic 

Другими словами, исходя из следующего, что такое p? Чтобы сделать это математической проблемой, а не антропологией или общественными науками, и упростить задачу, предположим, что пары выбираются с равной вероятностью среди населения, за исключением того, что братья и сестры никогда не спариваются, а пары всегда выбираются из одного и того же …

26 probability  stochastic-processes  genetics 

Я заинтересован в том, чтобы получить несколько книг о многомерном анализе, и мне нужны ваши рекомендации. Бесплатные книги всегда приветствуются, но если вы знаете о какой-то замечательной несвободной книге MVA, пожалуйста, укажите это.

26 references  multivariate-analysis 

Я новичок в R, заказал логистическую регрессию, и polr. В разделе «Примеры» в нижней части страницы справки для polr (которая соответствует логистической или пробит-регрессионной модели для упорядоченного факторного отклика) показано options(contrasts = c("contr.treatment", "contr.poly")) house.plr <- polr(Sat ~ Infl + Type + Cont, weights = Freq, data = housing) pr …

26 r  logistic 

Я использую регрессионные модели LOESS в R, и я хочу сравнить результаты 12 разных моделей с различными размерами выборки. Я могу описать реальные модели более подробно, если это поможет с ответом на вопрос. Вот размеры выборки: Fastballs vs RHH 2008-09: 2002 Fastballs vs LHH 2008-09: 2209 Fastballs vs RHH 2010: …

26 r  regression  loess 

Цитирование большого ответа Гун в Предположительно, исследователь однажды обратился к Фишеру с «незначительными» результатами, спросив его, что он должен делать, и Фишер сказал: «Иди и получи больше данных». С точки зрения Неймана-Пирсона, это явное хакерство, но есть ли смысл в подходе Фишера, чтобы получить больше данных?ппp

26 hypothesis-testing  p-value  intuition  philosophical 

Моя потеря тренировки снижается, а затем снова растет. Это очень странно. Потеря перекрестной проверки отслеживает потерю обучения. Что происходит? У меня есть два сложенных LSTMS следующим образом (на Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Я тренирую это для 100 Эпох: …

26 machine-learning  neural-networks  loss-functions  lstm 

Я читаю о функции квантиля, но она мне не понятна. Не могли бы вы дать более интуитивное объяснение, чем приведенное ниже? Поскольку cdf является монотонно возрастающей функцией, она имеет обратную; обозначим это через . Если - это cdf файла , то - это значение такое что ; это называется квантиль …

26 distributions  cdf  inverse-cdf  quantile-function 

У меня есть простой вопрос относительно «условной вероятности» и «вероятности». (Я уже рассмотрел этот вопрос здесь, но безрезультатно.) Это начинается со страницы Википедии о вероятности . Они говорят это: Вероятность набора значений параметров, & θθ\theta , учитывая исходы xxx , равна вероятности наблюдаемых результатов этих данных тех значения параметров, то …

26 probability  bayesian  conditional-probability  likelihood  definition 

Выполняя байесовский вывод, мы действуем путем максимизации нашей функции правдоподобия в сочетании с имеющимися у нас априорами в отношении параметров. Поскольку логарифмическая правдоподобность более удобна, мы эффективно максимизируем используя MCMC или другим способом, который генерирует апостериорные распределения (используя pdf для каждый параметр предшествует и вероятность каждой точки данных).∑ln(prior)+∑ln(likelihood)∑ln⁡(prior)+∑ln⁡(likelihood)\sum \ln (\text{prior}) …

26 bayesian  prior 

Можно ли найти значение р в корреляции Пирсона в R? Чтобы найти корреляцию Пирсона, я обычно делаю это col1 = c(1,2,3,4) col2 = c(1,4,3,5) cor(col1,col2) # [1] 0.8315218 Но как я могу найти р-значение этого?

26 r  correlation  p-value  pearson-r 

При линейной регрессии предполагается, что каждое прогнозируемое значение было выбрано из нормального распределения возможных значений. Увидеть ниже. Но почему предполагается, что каждое прогнозируемое значение получено из нормального распределения? Как линейная регрессия использует это предположение? Что, если возможные значения обычно не распределяются?

26 regression  probability  distributions  normal-distribution  modeling 

Допустим, у меня есть три независимых источника, и каждый из них делает прогнозы погоды на завтра. Первый говорит, что вероятность дождя завтра равна 0, затем второй говорит, что вероятность равна 1, и, наконец, последний говорит, что вероятность составляет 50%. Я хотел бы знать общую вероятность, учитывая эту информацию. Если применить …

26 probability  bayesian  pooling  model-averaging  forecast-combination 

Из того, что я понимаю, мы можем построить только регрессионную функцию, которая находится в интервале данных обучения. Например (необходима только одна из панелей): Как бы я мог предсказать будущее, используя регрессор KNN? Опять же, это, кажется, только приближает функцию, которая находится в пределах интервала обучающих данных. Мой вопрос: каковы преимущества …

26 regression  machine-learning  k-nearest-neighbour 

Любой трудолюбивый студент является контрпримером к тому, что «все студенты ленивы». Каковы некоторые простые контрпримеры, если «случайные переменные и некоррелированы, то они независимы»?XXXYYY

26 correlation  random-variable  independence