Статистика и большие данные

Я знаю, что априорные значения не обязательно должны быть правильными и что функция правдоподобия также не интегрируется с 1. Но должен ли апостериор быть правильным распределением? Каковы последствия, если это / нет?

21 distributions  bayesian  posterior 

Я рассмотрел ряд документов, в каждом из которых сообщалось о наблюдаемом среднем значении и SD измерения в соответствующей выборке известного размера, . Я хочу высказать наиболее вероятное предположение о вероятном распределении той же меры в новом исследовании, которое я проектирую, и о том, насколько неопределенны эти предположения. Я счастлив предположить, …

21 bayesian  normal-distribution  meta-analysis 

Если априор и вероятность сильно отличаются друг от друга, то иногда возникает ситуация, когда апостериор не похож ни на один из них. Посмотрите, например, эту картинку, которая использует нормальные распределения. Хотя это математически правильно, это, похоже, не соответствует моей интуиции - если данные не соответствуют моим убеждениям или данным, я …

21 bayesian  prior  posterior  likelihood 

Я пишу алгоритм, в котором, учитывая модель, я вычисляю вероятности для списка наборов данных, а затем должен нормализовать (для вероятности) каждый из вероятностей. Таким образом, что-то вроде [0.00043, 0.00004, 0.00321] может быть преобразовано в что-то вроде [0.2, 0.03, 0.77]. Моя проблема заключается в том, что вероятность журналов, с которыми я …

21 probability  normalization  likelihood  c++  arithmetic 

Насколько я понимаю, описательная статистика количественно описывает особенности выборки данных, в то время как логическая статистика делает выводы о группах населения, из которых были взяты выборки. Тем не менее, страница Википедии для статистического вывода состояний: По большей части статистический вывод делает предположения о популяциях, используя данные, взятые из интересующей популяции …

21 terminology  descriptive-statistics  inference 

Я хочу знать, как проверить набор данных на нормальность в Excel, просто чтобы убедиться, что требования для использования t-критерия выполняются . Для правого хвоста уместно просто рассчитать среднее и стандартное отклонение, добавить 1, 2 и 3 стандартных отклонения от среднего, чтобы создать диапазон, а затем сравнить его с нормальным значением …

21 normal-distribution  excel 

У меня есть два вопроса относительно того, когда использовать настройку Бонферрони: Целесообразно ли использовать корректировку Бонферрони во всех случаях множественного тестирования? Если кто-то выполняет тест на наборе данных, то он разбивает этот набор на более мелкие уровни (например, разбивает данные по полу) и выполняет те же тесты, как это может …

21 multiple-comparisons  bonferroni  type-i-and-ii-errors 

Я запустил модель регрессии МНК на наборе данных с 5 независимыми переменными. Независимые переменные и зависимые переменные являются непрерывными и линейно связаны. Площадь R составляет около 99,3%. Но когда я запускаю то же самое, используя случайный лес в R, мой результат выглядит так: «% Var объяснено: 88.42». Почему случайный лесной …

21 r  regression  random-forest 

Некоторые дистрибутивы имеют сопряженные приоры, а некоторые нет. Это различие просто случайность? То есть вы занимаетесь математикой, и она работает так или иначе, но на самом деле она не говорит вам ничего важного о распределении, кроме самого факта? Или наличие или отсутствие сопряженного априора отражает более глубокое свойство распределения? Распространяются …

21 bayesian  mathematical-statistics  conjugate-prior 

Можно ли контролировать стоимость ошибочной классификации в пакете R randomForest ? В моей собственной работе ложные отрицания (например, отсутствие по ошибке того, что у человека может быть заболевание) намного дороже ложных срабатываний. Пакет rpart позволяет пользователю контролировать затраты на неправильную классификацию, указывая матрицу потерь для неправильной классификации веса по-разному. Существует …

21 r  classification  random-forest  loss-functions  metric 

У меня есть то, что я наивно думал, что это довольно прямая проблема, которая включает в себя обнаружение выбросов для множества различных наборов данных подсчета. В частности, я хочу определить, является ли одно или несколько значений в серии данных подсчета выше или ниже ожидаемого по сравнению с остальными подсчетами в …

21 outliers  count-data  fitting 

Когда я кодирую симуляцию Монте-Карло для какой-то проблемы, и модель достаточно проста, я использую очень простую выборку из учебника Гиббса. Когда невозможно использовать выборку Гиббса, я пишу учебник «Метрополис-Гастингс», который я выучил много лет назад. Единственная мысль, которую я ему даю, - это выбор прыгающего распределения или его параметров. Я …

21 bayesian  mcmc  gibbs  metropolis-hastings 

Многократное вменение довольно просто, если у вас есть априори линейная модель, которую вы хотите оценить. Тем не менее, вещи кажутся немного сложнее, когда вы на самом деле хотите сделать выбор модели (например, найти «лучший» набор переменных-предикторов из большего набора переменных-кандидатов - я думаю конкретно о LASSO и дробных многочленах с …

21 multiple-regression  multiple-imputation 

В совместной фильтрации у нас есть значения, которые не заполняются. Предположим, что пользователь не смотрел фильм, тогда мы должны добавить туда «na». Если я собираюсь взять SVD этой матрицы, то я должен добавить туда некоторое число - скажем, 0. Теперь, если я разложу матрицу, у меня есть метод для поиска …

21 machine-learning  svd  recommender-system 

Я заинтересован в сравнении количества изменчивости в пределах 8 различных выборок (каждая из другой популяции). Мне известно, что это можно сделать несколькими методами с данными отношения: F-критерий равенства дисперсии, критерий Левена и т. Д. Тем не менее, мои данные являются круговыми / направленными (то есть данные, которые показывают периодичность, такую …

21 variance  matlab  f-test  circular-statistics