Статистика и большие данные

В «Анализе данных» Д.С. Сивии происходит вывод распределения Пуассона из биномиального распределения. Они утверждают, что распределение Пуассона является предельным случаем биномиального распределения при M→∞M→∞M\rightarrow\infty , где - количество испытаний.MMM Вопрос 1: Как интуитивно понять этот аргумент? Вопрос 2: Почему предел большого в Равен , Где - количество успехов в испытания? …

14 binomial  poisson-distribution  combinatorics  intuition  probability-calculus 

Пусть θ будет оценка максимального правдоподобия истинного параметра некоторой модели. По мере увеличения числа точек данных ошибка обычно уменьшается как O (1 / \ sqrt n) . Используя неравенство треугольника и свойства ожидания, можно показать, что этот коэффициент ошибок подразумевает, что оба «смещения» \ lVert \ mathbb E \ hat …

14 variance  estimation  maximum-likelihood  bias 

Это небольшая проверка, пожалуйста, помогите мне понять, неправильно ли я понимаю эту концепцию и каким образом. У меня есть функциональное понимание корреляции, но я чувствую себя немного цепко, чтобы действительно уверенно объяснить принципы, лежащие в основе этого функционального понимания. Насколько я понимаю, статистическая корреляция (в отличие от более общего использования …

14 correlation  categorical-data  covariance 

Если и - две случайные величины, которые могут принимать только два возможных состояния, как я могу показать, что подразумевает независимость? Этот вид противоречит тому, что я узнал в тот день, что не подразумевает независимость ...XXXYYYCov(X,Y)=0Cov(X,Y)=0Cov(X,Y) = 0Cov(X,Y)=0Cov(X,Y)=0Cov(X,Y) = 0 Подсказка говорит, что нужно начинать с и как возможных состояний и …

14 covariance  independence 

У меня есть набор данных, в котором переменная, которую я хотел бы использовать в качестве случайного эффекта, имеет только одно наблюдение для некоторых уровней. Основываясь на ответах на предыдущие вопросы, я понял, что в принципе это может быть хорошо. Могу ли я установить смешанную модель с объектами, которые имеют только …

14 r  mixed-model  generalized-linear-model  glmm  lme4-nlme 

Я ищу пример 2 случайных величин XXX , YYY такой, что |cor(X,Y)|≈0|cor(X,Y)|≈0\newcommand{\cor}{{\rm cor}}|\cor(X,Y)| \approx 0 но если рассматривать хвостовую часть распределений, они сильно коррелируют. (Я стараюсь избегать «коррелированных» / «корреляций» для хвоста, потому что он может быть не линейным). Вероятно, используйте это: |cor(X′,Y′)|≫0|cor(X′,Y′)|≫0|\cor(X', Y')| \gg 0 где зависит от населения …

14 correlation  extreme-value 

Я поражен, казалось бы, легкой проблемой, но я не нашел подходящего решения уже несколько недель. У меня довольно много данных опроса / опроса (десятки тысяч респондентов, скажем, 50 тыс. На набор данных), полученных из чего-то, что, я надеюсь, называется комплексным опросом с весами, стратификацией, конкретной маршрутизацией и так далее. Для …

14 machine-learning  survey-weights  survey-sampling 

Предположим, вы определили: X∼Beta(α,β)X∼Beta(α,β)X\sim\mbox{Beta}(\alpha,\beta) Y∼Φ−1(X)Y∼Φ−1(X)Y\sim \Phi^{-1}(X) где Φ−1Φ−1\Phi^{-1} - обратная величина CDF стандартного нормального распределения . Мой вопрос: существует ли простое распределение, за которым следует , или которое может приближаться к ? YYYYYYЯ спрашиваю, потому что у меня есть сильное подозрение, основанное на результатах моделирования (показанных ниже), что YYY сходится …

14 r  normal-distribution  mathematical-statistics  beta-distribution 

Я читал эту статью о деле Палантира, где Министерство труда обвиняет их в дискриминации азиатов. Кто-нибудь знает, откуда они взяли эти оценки вероятности? Я не получаю 1/741 в пункте (а). (a) На должность инженера по контролю качества из группы из более чем 730 квалифицированных кандидатов, примерно 77% из которых были …

14 probability  p-value  contingency-tables  legal 

В рекуррентной нейронной сети вы, как правило, продвигаетесь вперед через несколько временных шагов, «разворачиваете» сеть, а затем распространяетесь обратно через последовательность входов. Почему бы вам не просто обновить веса после каждого отдельного шага в последовательности? (эквивалент использования длины усечения 1, поэтому развернуть нечего) Это полностью устраняет проблему исчезающего градиента, значительно …

14 time-series  neural-networks  backpropagation  rnn 

Я взял курс машинного обучения в моем колледже. В одной из викторин был задан этот вопрос. Модель 1: y=θx+ϵy=θx+ϵ y = \theta x + \epsilon Модель 2: y=θx+θ2x+ϵy=θx+θ2x+ϵ y = \theta x + \theta^2 x + \epsilon Какая из вышеперечисленных моделей подойдет для данных лучше? (предположим, что данные могут быть …

14 regression  machine-learning  self-study  modeling  model 

Верхние 25% - это верхний квартиль. Верхние 10% - это верхние децили. Верхний 1% - это верхний процентиль. Есть ли эквивалент для верхних 0,5%, то есть 1-в-200?

14 terminology  quantiles 

Структура этого вопроса следующая: сначала я представляю концепцию обучения ансамблям , далее я даю список задач распознавания образов , затем я привожу примеры алгоритмов обучения ансамблям и, наконец, представляю свой вопрос. Те, кому не нужна вся дополнительная информация, могут просто посмотреть на заголовки и перейти прямо к моему вопросу. Что …

14 machine-learning  neural-networks  pattern-recognition  ensemble  ocr 

Я новичок, пытающийся собрать свой первый проект. Я имел в виду проект классификации песен, но, поскольку я буду маркировать вручную, я смог собрать всего около 1000 песен или 60 часов музыки. Я бы классифицировал по нескольким классам, так что вполне возможно, что в одном классе будет всего 50-100 песен в …

14 neural-networks 

У меня есть некоторые интересные данные о самых популярных музыкальных артистах, разделенных по местоположению на 200 избирательных округов. Я хочу посмотреть, возможно ли опросить человека по его или ее музыкальным предпочтениям и определить, «слушает ли он как демократ» или «слушает ли как республиканец». (Естественно, это легкомысленный, но в данных есть …

14 correlation  prediction  pooling  weighted-data