Статистика и большие данные

Следующая проблема была размещена на Mensa International на странице Facebook: \quad\quad\quad\quad\quad\quad\quad\quad Само сообщение получило более 1000 комментариев, но я не буду вдаваться в подробности о дебатах, поскольку знаю, что это парадокс Бертранда и ответ . Что меня здесь интересует, так это то, как можно решить эту проблему, используя подход Монте-Карло? …

12 r  probability  simulation  monte-carlo  paradox 

Представьте, что исследователь исследует набор данных и запускает 1000 различных регрессий, и он обнаруживает одну интересную связь между ними. Теперь представьте, что другой исследователь с такими же данными запускает всего 1 регрессию, и оказывается, что это тот же самый, что другой исследователь взял 1000 регрессий, чтобы найти. Исследователь 2 не …

12 bayesian  multiple-regression  multiple-comparisons  inference  theory 

Я исследовал ряд инструментов для прогнозирования и обнаружил, что Обобщенные аддитивные модели (GAM) обладают наибольшим потенциалом для этой цели. ГАМ - это здорово! Они позволяют указывать сложные модели очень кратко. Однако та же краткость вызывает у меня некоторую путаницу, особенно в отношении того, как GAM представляют себе термины взаимодействия и …

12 r  modeling  gam  mgcv 

Мой коллега хочет проанализировать некоторые данные после преобразования переменной ответа, подняв ее до степени (то естьу0,125).1818\frac18Y0,125y0.125y^{0.125} Мне неудобно с этим, но я не могу понять, почему. Я не могу придумать никакого механистического обоснования для этого преобразования. Также я никогда не видел этого раньше, и я волнуюсь, что, возможно, это раздувает …

12 regression  data-transformation  aic 

Закрыто . Этот вопрос основан на мнении . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы ответить на него фактами и цитатами, отредактировав этот пост . Закрыто 2 года назад . Сейчас я учусь в классе линейной регрессии, но я не могу избавиться от …

12 regression  machine-learning  linear  teaching 

Если мы соответствуем GAM, как: gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College) Где мы используем набор данных College, который можно найти внутри пакета ISLR. …

12 anova  gam 

Как работает оценка параметров / тренинг логистической регрессии? Я постараюсь поставить то, что у меня так далеко. Выходными данными являются выходные данные логистической функции в виде вероятности в зависимости от значения x: P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx) P(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}} Для одного измерения так называемые шансы определяются следующим образом: p(y=1|x)1−p(y=1|x)=p(y=1|x)p(y=0|x)=eω0+ω1xp(y=1|x)1−p(y=1|x)=p(y=1|x)p(y=0|x)=eω0+ω1x{{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x} Теперь добавим logфункцию, чтобы получить W_0 …

12 regression  logistic  likelihood 

Как построить пример распределения вероятностей, для которого выполняется , предполагая ?E(1X)=1E(X)E(1X)=1E(X)\mathbb{E}\left(\frac{1}{X}\right)=\frac{1}{\mathbb{E}(X)}P(X≠0)=1P(X≠0)=1\mathbb{P}(X\ne0)=1 Неравенство, вытекающее из неравенства Дженсена для RV с положительными значениями, имеет вид (обратное неравенство, если ). Это потому, что отображение является выпуклым для и вогнутым для . Следуя условию равенства в неравенстве Дженсена, я предполагаю, что распределение должно быть …

12 probability  distributions  random-variable  expected-value 

РЕДАКТИРОВАТЬ: Меня больше интересуют технические вопросы и методология определения вероятности «истинного» максимума в данной популяции с учетом выборочной статистики. Есть проблемы с оценкой вероятности более быстрых бегунов, чем г-н Болт, по рекордным временам броска, которые являются одновременно очевидными и тонкими. Забавьте меня, воображая, что это не так. Усэйн Болт - …

12 normal-distribution  maximum 

Я читаю построение многомерной модели: прагматический подход к регрессионному анализу, основанный на дробных полиномах для моделирования непрерывных переменных, автор Патрик Ройстон и Вилли Сауэрбрей. Пока что я впечатлен, и это интересный подход, который я раньше не рассматривал. Но авторы не имеют дело с отсутствующими данными. Действительно, на с. 17 они …

12 regression  missing-data  fractional-polynomial 

Целевой функцией анализа главных компонентов (PCA) является минимизация ошибки восстановления в норме L2 (см. Раздел 2.12 здесь . Другое представление пытается максимизировать дисперсию проекции. У нас также есть отличная статья здесь: Какова целевая функция PCA ? ) Мой вопрос заключается в том, что оптимизация PCA выпуклая? (Я нашел некоторые обсуждения …

12 machine-learning  pca  optimization  convex 

Неправильно ли, что сплайны доступны только в GAM-моделях, а не в GLM-моделях? Я слышал это некоторое время назад, и удивляюсь, является ли это просто заблуждением, или в этом есть доля правды. Вот иллюстрация:

12 generalized-linear-model  splines 

У меня есть точечная диаграмма, размер выборки которой равен числу людей по оси x и средней зарплате по оси y. Я пытаюсь выяснить, влияет ли размер выборки на среднюю зарплату. Это сюжет: Как мне интерпретировать этот сюжет?

12 data-visualization  median  scatterplot  pandas 

В книге Gelman & Hill (2007) (Анализ данных с использованием регрессионных и многоуровневых / иерархических моделей) авторы утверждают, что включение избыточных средних параметров может помочь ускорить MCMC. Данный пример - это не вложенная модель "симулятора полета" (уравнение 13.9): YяγJδК∼ N( μ + γj [ i ]+ δк [ я ], …

12 mcmc  hierarchical-bayesian  gibbs 

Соревнования Kaggle определяют итоговые рейтинги на основе проведенного тестового набора. Выдержанный тестовый набор является образцом; он не может быть репрезентативным для моделируемого населения. Поскольку каждое представление похоже на гипотезу, алгоритм, выигравший соревнование, может, совершенно случайно, в конечном итоге соответствовать тестовому набору лучше, чем другие. Другими словами, если бы был выбран …

12 machine-learning  probability  hypothesis-testing  sample  kaggle