Статистика и большие данные

(Я новичок в статистике. Я математик и программист, и я пытаюсь создать что-то вроде наивного байесовского фильтра спама.) Во многих местах я заметил, что люди склонны разбивать знаменатель в уравнении из теоремы Байеса. Итак, вместо этого: P(A|B)⋅P(B)P(A)P(A|B)⋅P(B)P(A)\frac{P(A|B)\cdot P(B)}{P(A)} Нам представлено это: P(A|B)⋅P(B)P(A|B)⋅P(B)+P(A|¬B)⋅P(¬B)P(A|B)⋅P(B)P(A|B)⋅P(B)+P(A|¬B)⋅P(¬B)\frac{P(A|B)\cdot P(B)}{P(A|B)\cdot P(B)+P(A|\neg B)\cdot P(\neg B)} Вы можете видеть, …

23 bayesian 

У меня есть определенный алгоритм MCMC, который я хотел бы перенести на C / C ++. Большая часть дорогостоящих вычислений выполняется на C уже через Cython, но я хочу, чтобы весь сэмплер был написан на скомпилированном языке, чтобы я мог просто писать оболочки для Python / R / Matlab / …

23 mcmc  software  c++  computing 

Какие методы я могу использовать, чтобы вывести распределение, если я знаю только три процентиля? Например, я знаю, что в определенном наборе данных пятый процентиль равен 8 135, 50-й процентиль - 11 259, а 95-й процентиль - 23 611. Я хочу иметь возможность перейти от любого другого числа к его процентили. …

23 r  regression  quantiles 

Как я могу найти PDF (функция плотности вероятности) распределения по CDF (кумулятивная функция распределения)?

23 distributions  pdf  cdf 

Я немного потерян в процессе регрессии WLS. Мне дали набор данных, и моя задача состоит в том, чтобы проверить, есть ли гетероскедентность, и если да, я должен запустить регрессию WLS. Я провел тест и нашел доказательства гетероскедентности, поэтому мне нужно запустить WLS. Мне сказали, что WLS - это в основном …

23 regression  heteroscedasticity  weighted-regression 

Каковы оценки максимального правдоподобия для параметров t-распределения Стьюдента? Существуют ли они в закрытом виде? Быстрый поиск в Google не дал мне никаких результатов. Сегодня меня интересует одномерный случай, но, вероятно, мне придется расширить модель до нескольких измерений. РЕДАКТИРОВАТЬ: меня на самом деле больше всего интересуют параметры местоположения и масштаба. Сейчас …

23 estimation  maximum-likelihood  t-distribution 

Какова лучшая стратегия в множественной линейной регрессии с высококоррелированными регрессорами? Это законный подход, чтобы добавить произведение всех коррелированных регрессоров?

23 regression  multicollinearity 

В своей статье « Выбор линейной модели с помощью перекрестной проверки» Джун Шао показывает, что для задачи выбора переменных в многомерной линейной регрессии метод перекрестной проверки «без выходных данных» (LOOCV) является «асимптотически несовместимым». Проще говоря, он имеет тенденцию выбирать модели со слишком большим количеством переменных. В симуляционном исследовании Шао показывает, …

23 classification  model-selection  cross-validation 

Часто в ходе моего (самостоятельного) изучения статистики я встречал терминологию « -algebra, порожденная случайной величиной». Я не понимаю определения в Википедии , но самое главное, я не понимаю интуицию. Почему / когда нам нужны алгебры, порожденные случайными величинами? В чем их смысл? Я знаю следующее:σσ\sigmaσ−σ−\sigma- - алгебра на множестве является …

23 probability  random-variable  sigma-algebra 

Я знаю, что было много достижений в отношении распознавания изображений, классификации изображений и т. Д. С глубокими, сверточными нейронными сетями. Но если я обучу сеть, скажем, PNG-изображениям, будет ли она работать только для изображений, закодированных таким образом? Какие другие свойства изображения влияют на это? (альфа-канал, чересстрочная развертка, разрешение и т. …

23 neural-networks  deep-learning  image-processing 

Может ли кто-нибудь объяснить достаточно статистику в самых простых терминах? Я из инженерного образования, и я прошел через многое, но не смог найти интуитивного объяснения.

23 machine-learning  mathematical-statistics  intuition 

Некоторое время я пытался понять идею сопряженных априорных значений в байесовской статистике, но я просто не понимаю ее. Может ли кто-нибудь объяснить идею в простейших возможных терминах, возможно, используя в качестве примера «априор Гаусса»?

23 bayesian  conditional-probability  conjugate-prior 

Я пытаюсь научиться подкреплению, и эта тема меня очень смущает. Я взял введение в статистику, но я просто не мог понять эту тему интуитивно.

22 variance  simulation  monte-carlo  unbiased-estimator  importance-sampling 

Почему автокорреляция так важна? Я понял принцип этого (я думаю ..), но поскольку есть также примеры, где не происходит автокорреляции, я задаюсь вопросом: не все ли в природе как-то автокоррелировано? Последний аспект больше нацелен на общее понимание самой автокорреляции, потому что, как я уже говорил, не зависит ли каждое состояние …

22 autocorrelation 

(Заранее извиняюсь за использование языка мирян, а не статистического языка.) Если я хочу измерить шансы накатывания каждой стороны конкретного физического шестигранного кристалла с точностью примерно +/- 2% с достаточной уверенностью в достоверности, сколько потребуется образцовых роликов? т.е. сколько раз мне нужно было бы бросить кубик, считая каждый результат, чтобы быть …

22 probability  inference  pdf  dice