Статистика и большие данные

Я хочу лучше понять плюсы / минусы использования лёсса или сглаживающих сплайнов для сглаживания некоторой кривой. Другой вариант моего вопроса - есть ли способ построить сглаживающий сплайн так, чтобы он давал те же результаты, что и при использовании лёсса. Любая ссылка или понимание приветствуются.

25 regression  splines  loess 

Я пытаюсь согласовать данные с GLM (регрессия Пуассона) в R. Когда я построил графики остатков и подгоночных значений, график создал несколько (почти линейных с небольшой вогнутой кривой) «линий». Что это значит? library(faraway) modl <- glm(doctorco ~ sex + age + agesq + income + levyplus + freepoor + freerepa + …

25 r  self-study  generalized-linear-model  poisson-regression 

Как я могу создать диаграммы Санки ?

25 data-visualization  software  sankey-diagram 

Это проблема из «7-й Колмогоровской студенческой олимпиады по теории вероятностей»: Учитывая одно наблюдение из распределения с неизвестными обоими параметрами, задайте доверительный интервал для с уровнем достоверности не менее 99%.Нормальный ( μ , σ 2 ) σ 2XXXNormal(μ,σ2)Normal⁡(μ,σ2)\operatorname{Normal}(\mu,\sigma^2)σ2σ2\sigma^2 Мне кажется, что это должно быть невозможно. У меня есть решение, но я …

25 probability  normal-distribution  confidence-interval  variance 

Я пишу свою кандидатскую диссертацию, и я понял, что чрезмерно полагаюсь на коробочные графики, чтобы сравнивать распределения. Какие еще альтернативы вам нравятся для решения этой задачи? Я также хотел бы спросить, знаете ли вы какой-либо другой ресурс, как галерею R, в котором я могу вдохновить себя различными идеями по визуализации …

25 r  distributions  data-visualization  boxplot  relative-distribution 

В недавней статье, обсуждающей недостатки использования p-значения для статистического вывода, под названием «Matrixx v. Siracusano and Student v. Fisher Статистическая значимость в испытании» (DOI: 10.1111 / j.1740-9713.2011.00511.x), Стивен Т. Зиляк выступает против использования р-значений. В заключительных параграфах он говорит: Данные это единственное, что мы уже знаем, и наверняка. То, что …

25 r  hypothesis-testing  statistical-significance  bayesian  p-value 

Я понимаю логику кодирования для анализа данных. Мой вопрос ниже касается использования определенного кода. Есть ли причина, по которой пол часто кодируется как 0 для женщин и 1 для мужчин? Почему эта кодировка считается «стандартной»? Сравните это с Женский = 1 и Мужской = 2. Есть ли проблема с этим …

25 data-transformation  binary-data  categorical-encoding  units 

при интеграции функции или в сложном моделировании я видел, что метод Монте-Карло широко используется. Я спрашиваю себя, почему нельзя создать сетку точек, чтобы интегрировать функцию вместо рисования случайных точек. Не приведет ли это к более точным результатам?

25 monte-carlo 

Я вычисляю очень простой фильтр Калмана (модель случайного блуждания + шум). Я считаю, что вывод фильтра очень похож на скользящую среднюю. Есть ли эквивалентность между ними? Если нет, то в чем разница?

25 kalman-filter 

В моих элементарных статистических данных , конечно, я узнал , как построить 95% доверительный интервал , например , как математическое ожидание, , на основе асимптотической нормальности для «больших» размеров выборок. Помимо методов передискретизации (таких как начальная загрузка), существует еще один подход, основанный на «вероятности профиля» . Может ли кто-нибудь объяснить …

25 confidence-interval  profile-likelihood 

Я наткнулся на пару руководств, предлагающих использовать Rs nlm для оценки максимального правдоподобия. Но ни один из них (включая документацию R ) не дает большого теоретического руководства о том, когда использовать или не использовать функцию. Насколько я могу судить, nlm просто делает градиентный спуск по методике Ньютона. Существуют ли принципы, …

25 r  maximum-likelihood 

Каков наилучший способ определения процесса белого шума, чтобы он был интуитивно понятным и простым для понимания?

25 time-series 

Я знаю, что в ситуации регрессии, если у вас есть набор сильно коррелированных переменных, это обычно «плохо» из-за нестабильности оценочных коэффициентов (дисперсия движется к бесконечности, так как детерминант движется к нулю). Мой вопрос заключается в том, сохраняется ли эта «плохость» в ситуации PCA. Не становятся ли коэффициенты / нагрузки / …

25 pca  multicollinearity 

Мне было интересно, как байесовцы в сообществе CrossValidated рассматривают проблему неопределенности модели и как они предпочитают с ней бороться? Я постараюсь изложить свой вопрос в двух частях: Насколько важно (по вашему опыту / мнению) иметь дело с неопределенностью модели? Я не нашел ни одной статьи, посвященной этой проблеме, в сообществе …

25 machine-learning  bayesian  model-selection 

Это мой первый пост, поэтому, пожалуйста, будьте спокойны, если я не соблюдаю некоторые стандарты! Я искал свой вопрос, и ничего не пришло. Мой вопрос касается в основном практических различий между общим линейным моделированием (GLM) и обобщенным линейным моделированием (GZLM). В моем случае это будет несколько непрерывных переменных в качестве ковариат …

25 modeling  linear-model