Статистика и большие данные

На рисунке ниже показана непрерывная кривая ложноположительных показателей по сравнению с истинно положительными показателями: Однако я не сразу понимаю, как рассчитываются эти ставки. Если метод применяется к набору данных, он имеет определенную скорость FP и определенную скорость FN. Не означает ли это, что каждый метод должен иметь одну точку, а …

22 machine-learning  data-visualization  roc  auc 

Этот вопрос немного левый, но я подумал, что у сообщества здесь, вероятно, сильные взгляды на эту тему! Я пишу свою докторскую диссертацию. Соответственно, когда мы говорим о количествах, которые формально связаны с гауссовым распределением, я использовал «N» в «Нормальном» для ссылки на них. Например, «[... При таких обстоятельствах] результирующее распределение …

22 normal-distribution  terminology 

В байесовском умозаключении прогнозное распределение будущих данных получено путем интегрирования неизвестных параметров; интеграция по апостериорному распределению этих параметров дает апостериорное предиктивное распределение - распределение для будущих данных, зависящее от уже наблюдавшихся. Какие не байесовские методы для прогнозного вывода существуют, которые учитывают неопределенность в оценках параметров (то есть, которые не просто …

22 prediction  inference  prediction-interval 

Я хотел бы иерархически кластеризовать свои данные, но вместо евклидова расстояния я хотел бы использовать корреляцию. Кроме того, поскольку коэффициент корреляции варьируется от -1 до 1, причем оба значения -1 и 1 обозначают «совместное регулирование» в моем исследовании, я отношусь к обоим -1 и 1 как к d = 0. …

22 correlation  clustering  distance  hierarchical-clustering 

Есть ли хорошие статьи, в которых рассматриваются некоторые методические способы выбора размеров для фильтров, объединения единиц измерения и определения количества сверточных слоев?

22 neural-networks  deep-learning  conv-neural-network 

В моей голове была некоторая путаница в отношении двух типов оценок популяционного значения коэффициента корреляции Пирсона. A. Fisher (1915) показал, что для двумерной нормальной популяции эмпирическое значение является отрицательно смещенной оценкой ρ , хотя смещение может быть практически значительным только для небольшого размера выборки ( n < 30 ). Выборка …

22 correlation  pearson-r  unbiased-estimator  estimators  point-estimation 

В большинстве ресурсов о правильных правилах оценки упоминается ряд различных правил оценки, таких как потеря журнала, оценка Бриера или сферическая оценка. Тем не менее, они часто не дают больших указаний на различия между ними. (Приложение A: Википедия .) Выбор модели, которая максимизирует логарифмическую оценку, соответствует выбору модели максимального правдоподобия, которая …

22 machine-learning  classification  model-selection  theory  scoring-rules 

В качестве приквела к вопросу о линейно-смешанных моделях в R и для использования в качестве справочного материала для любителей статистики начального и среднего уровня, я решил опубликовать в качестве независимого «Q & A-style» шаги, связанные с «ручным» вычислением Коэффициенты и прогнозные значения простой линейной регрессии. В качестве примера используется встроенный …

22 r  regression  linear-model  lm 

В PCA, когда число измерений больше (или даже равно) количеству выборок N , почему у вас будет не более N - 1 ненулевых собственных векторов? Другими словами, ранг ковариационной матрицы среди измерений d ≥ N равен N - 1 .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Пример: ваши образцы - это векторизованные изображения размером , …

22 pca  dimensionality-reduction  eigenvalues 

Я читал «Элементы статистического обучения» и не мог понять, что такое раздел 3.7 «Сжатие и выбор нескольких результатов». В нем говорится о RRR (регрессии пониженного ранга), и я могу только понять, что предпосылка заключается в обобщенной многомерной линейной модели, в которой коэффициенты неизвестны (и должны оцениваться), но известно, что они …

22 regression  multivariate-analysis  dimensionality-reduction  regularization  reduced-rank-regression 

Учитывая ковариационную матрицу , как сгенерировать данные таким образом, чтобы они имели образец ковариационной матрицы \ hat {\ boldsymbol \ Sigma} = \ boldsymbol \ Sigma_s ?ΣsΣs\boldsymbol \Sigma_sΣ^=ΣsΣ^=Σs\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s В более общем плане: мы часто заинтересованы в создании данных из плотности f(x|θ)f(x|θ) f(x \vert \boldsymbol\theta) , причем …

22 correlation  sampling  random-generation  covariance-matrix 

Я заинтересован , чтобы оценить плотность непрерывной случайной величины . Один из способов сделать это, который я изучил, это использование оценки плотности ядра.ИксXX Но теперь меня интересует байесовский подход, который заключается в следующем. Первоначально я считаю , что следует распределение . Я принимаю показания . Есть ли какой-то подход к …

22 bayesian  pdf  nonparametric-bayes  dirichlet-process 

Я даже не уверен, что этот вопрос имеет большой смысл, но я думаю, что видел пару названий статей, в которых предлагался случайный лес со случайными эффектами. Это возможно в R?

22 r  random-forest  random-effects-model 

Мне было интересно, какова теоретическая разница между тестом Уилкоксона Ранка-Суммы и тестом Уилкоксона Знакового ранга с использованием парных наблюдений. Я знаю, что критерий суммы рангов Уилкоксона допускает различное количество наблюдений в двух разных выборках, в то время как критерий знакового ранга для парных выборок этого не позволяет, однако, по моему …

22 paired-data  wilcoxon-signed-rank  wilcoxon-mann-whitney 

Какой график, с точки зрения статистики, является лучшим для отображения таблицы сопряженности , которая обычно анализируется с помощью критерия хи-квадрат? Является ли это уклоненным барплотом, гистограммой с накоплением, тепловой картой, контурной диаграммой, диаграммой рассеяния с дрожанием, многострочным графиком или чем-то еще? Нужно ли показывать абсолютные значения или проценты? Изменить: Или, …

22 data-visualization  contingency-tables