Статистика и большие данные

Я учусь о выборе функций. Я понимаю, почему это важно и полезно для построения моделей. Но давайте сосредоточимся на контролируемых задачах обучения (классификации). Почему выбор характеристик важен для задач классификации? Я вижу много литературы, написанной о выборе функций и их использовании для обучения под наблюдением, но это меня озадачивает. Выбор …

11 feature-selection  accuracy  regression-strategies 

Я должен рассчитать оценку плотности ядра (kde) из списка координат широты и долготы. Но один градус по широте - это не то же самое расстояние, что и один градус по долготе, это означает, что отдельные ядра будут овальными, особенно если точка дальше от экватора. В моем случае все точки достаточно …

11 spatial  kernel-smoothing  geostatistics  geography 

Предположим, я хочу узнать классификатор, который принимает вектор чисел в качестве входных данных и дает метку класса в качестве выходных данных. Мои тренировочные данные состоят из большого количества пар ввода-вывода. Тем не менее, когда я прихожу к тестированию на некоторых новых данных, эти данные, как правило, только частично завершены. Например, …

11 machine-learning  classification  neural-networks  deep-learning 

Я хочу определить, является ли коллинеарность проблемой в моей регрессии МНК. Я понимаю, что факторы инфляции дисперсии и индекс состояния являются двумя часто используемыми показателями, но мне трудно найти что-то определенное с точки зрения достоинств каждого подхода или какими должны быть оценки. Известный источник, который указывает, какой подход и / …

11 multiple-regression  references  least-squares  multicollinearity  vif 

Я читаю статью , метод которой полностью основан на тесте отношения правдоподобия. Автор говорит, что тест LR против односторонних альтернатив является UMP. Он продолжает, утверждая, что «... даже если невозможно доказать, что [тест LR] является наиболее мощным, тест LR часто имеет желательные статистические свойства». Мне интересно, что здесь означают статистические …

11 hypothesis-testing  power-analysis  power  likelihood-ratio  neyman-pearson-lemma 

Учитывая формулу для оценки MAP параметра. Почему необходим подход MCMC (или аналогичный), не могу ли я просто взять производную, установить ее в ноль, а затем решить для параметра?

11 bayesian  estimation  mcmc 

Я уже некоторое время думаю о чем-то, и, поскольку я не очень хорошо разбираюсь в теории вероятностей, я подумал, что это хорошее место, чтобы задать этот вопрос. Это то, что дошло до меня в длинных очередях общественного транспорта. Предположим, что вы находитесь на автобусной станции, и вы знаете, что автобус …

11 probability 

Когда я узнал о предшествующей работе Джеффриса в моем классе по статистическому выводу для выпускников, мои профессора сделали его звучащим так, как будто это было интересно в основном по историческим причинам, а не потому, что кто-либо когда-либо использовал его. Затем, когда я взяла байесовский анализ данных, нас никогда не просили …

11 bayesian  prior  jeffreys-prior 

Я использую гауссовский процесс (ГП) для регрессии. В моей задаче довольно часто две или более точек данных находятся близко друг к другу относительно длины масштабы проблемы. Также наблюдения могут быть очень шумными. Чтобы ускорить вычисления и повысить точность измерений , кажется естественным объединять / интегрировать кластеры точек, которые находятся близко …

11 regression  machine-learning  gaussian-process 

Если группа исследователей выполняет множественные (гипотезные) тесты на заданном наборе данных, существует большой объем литературы, в которой утверждается, что они должны использовать некоторую форму коррекции для множественного тестирования (Bonferroni и т. Д.), Даже если тесты независимы. У меня такой вопрос: применяется ли эта же логика к нескольким группам, проверяющим гипотезы …

11 hypothesis-testing  multiple-comparisons 

Я знаю, что мы используем чтобы оценить дисперсия популяции. Я помню видео из Академии Хана, где указанная интуиция заключалась в том, что наше предполагаемое среднее значение, вероятно, немного отличается от фактического, поэтому расстоянияxi- ˉ x на самом деле будут больше, поэтому мы делим на меньшее (n-1вместоn) получить большее значение, в …

11 variance  sample 

Я определил несколько мест в учебниках, где GLM описан с 5 распределениями (а именно: гамма, гауссовский, биномиальный, обратный гауссовский и пуассоновский). Это также иллюстрируется в функции семьи в R. Иногда я сталкиваюсь с ссылками на GLM, где включены дополнительные дистрибутивы ( пример ). Может кто-нибудь объяснить, почему эти 5 являются …

11 r  probability  distributions  generalized-linear-model 

Я использую PyMC3 для запуска байесовских моделей на моих данных. Я новичок в байесовском моделировании, но, согласно сообщениям в некоторых блогах , Википедии и QA с этого сайта, кажется правильным подход использовать фактор Байеса и критерий BIC, чтобы иметь возможность выбрать, какая модель лучше всего представляет мои данные (та, которая …

11 bayesian  model-selection  pymc 

Я должен признаться, что раньше я не слышал об этом термине ни в одном из моих классов, старшекурсников или выпускников. Что значит для логистической регрессии быть байесовским? Я ищу объяснение с переходом от обычной логистики к байесовской логистике, подобное следующему: Это уравнение в модели линейной регрессии: .E(y)=β0+β1x1+...+βnxnE(y)=β0+β1x1+...+βnxnE(y) = \beta_0 + …

11 regression  logistic  bayesian  multiple-regression  generalized-linear-model 

Я хотел бы смоделировать броуновский экскурсионный процесс (обусловленное броуновское движение всегда будет положительным при 0<t<10<t<10 \lt t \lt 1 до 000 при t=1t=1t=1 ). Поскольку броуновский экскурсионный процесс - это броуновский мост, который всегда должен быть положительным, я надеялся смоделировать движение броуновской экскурсии с использованием броуновского моста. В R я …

11 r  gaussian-process  brownian