Статистика и большие данные

Я оценил надежную линейную модель Rс весами ММ, используя rlm()пакет MASS. `R`` не предоставляет значение для модели, но я хотел бы иметь его, если это значимое количество. Мне также интересно знать, есть ли смысл иметь значение которое взвешивает общую и остаточную дисперсию так же, как взвешивания наблюдений в устойчивой регрессии. …

19 r  goodness-of-fit  r-squared  robust  rlm 

Я делаю мастер в области статистики, и мне советуют изучать дифференциальную геометрию. Я был бы счастлив услышать о статистических приложениях для дифференциальной геометрии, потому что это мотивировало бы меня. Кто-нибудь знает приложения для дифференциальной геометрии в статистике?

19 mathematical-statistics  information-geometry 

Как определить асимметрию, посмотрев на коробочную диаграмму, построенную из этих данных: 340, 300, 520, 340, 320, 290, 260, 330 Одна книга гласит: «Если нижний квартиль находится дальше от медианы, чем верхний квартиль, то распределение отрицательно искажено». Несколько других источников сказали более или менее то же самое. Я построил блокпост с …

19 outliers  skewness  boxplot 

Я - эпидемиолог, пытающийся понять GEE, чтобы правильно проанализировать когортное исследование (используя регрессию Пуассона с лог-ссылкой для оценки относительного риска). У меня есть несколько вопросов о «рабочей корреляции», которые я хотел бы прояснить: (1) Если я проводил повторные измерения в одном и том же человеке, то обычно ли разумнее предполагать …

19 gee 

Мы запустили сплит-тест новой функции продукта и хотим оценить, является ли увеличение выручки значительным. Наши наблюдения, как правило, не распределяются нормально (большинство наших пользователей не тратят, а среди тех, кто их тратит, они сильно отклоняются от множества мелких и очень больших расходов). Мы решили использовать начальную загрузку для сравнения средств, …

19 bootstrap  outliers 

Я заинтересован в использовании каретки для того, чтобы делать выводы о конкретном наборе данных. Можно ли сделать следующее: получить коэффициенты модели glmnet, которую я обучил в карете. Я хотел бы использовать glmnet из-за выбора встроенных функций, так как я не верю, что у glm есть? кроме метрики ROC, есть ли …

19 caret  glmnet 

Это не вопрос строго статистики - я могу прочитать все учебники о предположениях ANOVA - я пытаюсь выяснить, как фактические работающие аналитики обрабатывают данные, которые не совсем соответствуют предположениям. Я просмотрел множество вопросов на этом сайте в поисках ответов, и я продолжаю находить посты о том, когда не следует использовать …

19 anova  heteroscedasticity  assumptions 

Допустим, я вычисляю некоторые параметры модели, минимизирую сумму квадратов невязок и предполагаю, что мои ошибки гауссовские. Моя модель производит аналитические производные, поэтому оптимизатору не нужно использовать конечные различия. После завершения подгонки я хочу вычислить стандартные ошибки подгоночных параметров. Как правило, в этой ситуации гессиан функции ошибки считается связанным с ковариационной …

19 standard-error  fitting 

Как лучше всего графически визуализировать трехмерную функцию плотности? Как я хотел бы визуализировать ?Z= фИкс, Y( х , у)z=fX,Y(x,y)z=f_{X,Y}(x,y) Не обязательно, но Rкод для этого был бы великолепен.

19 r  data-visualization  methodology 

Я экспериментирую со случайными лесами с помощью scikit-learn, и я получаю отличные результаты моего тренировочного набора, но относительно плохие результаты на моем тестовом наборе ... Вот проблема (по мотивам покера), которую я пытаюсь решить: с учетом карманных карт игрока А, карманных карт игрока Б и флопа (3 карты), у какого …

19 classification  random-forest  scikit-learn 

Я помню, что где-то в Интернете читал связь между регрессией гребня (с регуляризацией ) и регрессией PCA: при использовании регрессии с с гиперпараметром , если , то регрессия эквивалентна удалению ПК переменная с наименьшим собственным значением.ℓ2ℓ2\ell_2 А , А , → 0ℓ2ℓ2\ell_2λλ\lambdaλ →0λ→0\lambda \to 0 Почему это правда? Это как-то …

19 regression  pca  regularization  ridge-regression 

В последнее время я изучаю байесовский подход к классической статистике. После прочтения о байесовском факторе мне стало интересно, необходим ли анализ мощности в этом виде статистики. Моя главная причина удивления - это фактор Байеса, который на самом деле просто выглядит как отношение правдоподобия. Как только это становится 25: 1, кажется, …

19 bayesian  power-analysis 

Как я могу получить p-значения, используя multinomфункцию nnetпакета в R? У меня есть набор данных, который состоит из «Оценка патологии» (Отсутствует, Легкая, Тяжелая) в качестве переменной результата и двух основных эффектов: Возраст (два фактора: двадцать / тридцать дней) и Группа лечения (четыре фактора: инфицированные без АТБ; инфицированные + ATB1; зараженный …

19 r  regression  p-value  multinomial 

У меня есть проблема с доказательством E ( Y | X ) ∈ arg min g ( X ) E [ ( Y - g ( X ) ) 2 ]E(Y|X)∈argming(X)E[(Y−g(X))2]E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big] что, скорее всего, выявит более глубокое непонимание ожиданий и условных ожиданий. Доказательство, которое …

19 mathematical-statistics  conditional-probability  proof  conditional-expectation 

У меня проблемы с интерпретацией значений z для категориальных переменных в логистической регрессии. В приведенном ниже примере у меня есть категориальная переменная с 3 классами, и в соответствии со значением z CLASS2 может быть релевантным, а другие нет. Но что это значит? Чтобы я мог объединить другие классы в один? …

19 r  logistic  categorical-data  feature-selection  categorical-encoding