Статистика и большие данные

Каковы плюсы и минусы использования LARS [1] по сравнению с использованием координатного спуска для подбора L1-регуляризованной линейной регрессии? Я в основном заинтересован в аспектах производительности (мои проблемы, как правило, Nисчисляются сотнями тысяч и p<20). Однако, любые другие идеи также будут оценены. редактировать: так как я разместил вопрос, chl любезно указал …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Я подгоняю пошаговую логистическую регрессию к набору данных в SPSS. В этой процедуре я подгоняю свою модель к случайному подмножеству, которое составляет ок. 60% от общей выборки, что составляет около 330 случаев. Что мне показалось интересным, так это то, что каждый раз, когда я повторно выбираю свои данные, я получаю …

13 logistic  spss  stepwise-regression 

Я задал этот вопрос вчера на StackOverflow и получил ответ, но мы согласились, что он кажется немного хакерским и, возможно, есть лучший способ взглянуть на него. Вопрос: я хотел бы рассчитать стандартные ошибки Ньюи-Уэста (HAC) для вектора (в данном случае - вектора биржевых доходностей). Функция NeweyWest()в sandwichпакете делает это, но …

13 r  standard-error  autocorrelation  heteroscedasticity 

В настоящее время я работаю ассистентом преподавателя в моем университете на курсе вводной статистики (для студентов-медиков). Оффлайн, есть много книг, доступных с информацией, чтобы помочь учителю. Тем не менее, мне интересно знать, можете ли вы направить меня на какие-либо (хорошие) ресурсы, которые предоставляют упражнения (с решениями) в области статистики, которые …

13 probability  references  inference  descriptive-statistics  teaching 

Я делаю кучу отчетов по недвижимости, и о средней цене часто сообщают, особенно NAR (Национальная ассоциация риэлторов). Насколько я могу судить, они получают только медианы цен на недвижимость из каждой области. Мой вопрос: как рассчитать медиану по стране с учетом ограничений на данные? Как медиана медиан, как простое среднее медиан, …

13 median 

У меня есть два набора данных, которые примерно сосредоточены вокруг нуля, но я подозреваю, что у них разные хвосты. Я знаю несколько тестов для сравнения дистрибутива с нормальным дистрибутивом, но я бы хотел сравнить два этих дистрибутива. Существует ли простой тест для сравнения жирности хвоста из 2 распределений ? Спасибо, …

13 hypothesis-testing  distributions  kurtosis  fat-tails 

Это может быть наивный вопрос, но здесь идет. Если у меня есть набор эмпирических данных и я подгоняю к нему плотность ядра, а затем получаю новое единственное значение, которое, возможно, происходит из того же процесса, который сгенерировал исходный набор данных, могу ли я назначить вероятность того, что это новое значение …

13 kde 

Я хотел бы автоматизировать выбор выгорания для цепочки MCMC, например, удалив первые n строк на основе диагностики сходимости. В какой степени этот шаг можно безопасно автоматизировать? Даже если я все еще дважды проверю автокорреляцию, трассировку mcmc и pdf, было бы неплохо автоматизировать выбор длины записи. Мой вопрос общий, но было …

13 r  bayesian  mcmc 

Пусть поэтому для очень короткой выборки, такой как ее можно вычислить от нахождения статики го порядка парных разностей: Qn=Cn.{|Xi−Xj|;i&lt;j}(k)Qn=Cn.{|Xi−Xj|;i&lt;j}(k)Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)}{1,3,6,2,7,5}{1,3,6,2,7,5}\{1,3,6,2,7,5\}kkk 7 6 5 3 2 1 1 6 5 4 2 1 2 5 4 3 1 3 4 3 2 5 2 1 6 1 7 …

13 data-transformation  scales  robust  optimal-scaling 

Я управляю логистической моделью. Фактический набор данных модели содержит более 100 переменных, но я выбираю набор тестовых данных, в котором имеется около 25 переменных. До этого я также сделал набор данных, который имел 8-9 переменных. Мне говорят, что значения AIC и SC можно использовать для сравнения модели. Я заметил, что …

13 model-selection  logistic  aic 

У меня есть многомерная регрессия, которая включает в себя взаимодействия. Например, чтобы получить оценку эффекта лечения для самого бедного квинтиля, мне нужно добавить коэффициенты от регрессора лечения к коэффициенту из переменной взаимодействия (которая взаимодействует с лечением и квинтилем 1). При добавлении двух коэффициентов из регрессии, как получить стандартные ошибки? Можно …

13 regression  standard-deviation  standard-error 

Я прочитал и видел много графиков параллельных координат. Может ли кто-нибудь ответить на следующие вопросы: Что такое параллельные координаты (PCP) в простых словах, чтобы непрофессионал мог понять? Математическое объяснение с некоторой интуицией, если это возможно Когда PCP полезен и когда их использовать? Когда это PCP не полезно , и когда …

13 r  data-visualization 

Вопрос: Что является хорошим методом для проведения разовых тестов различий между групповыми средствами после корректировки на эффект ковариации? Прототипный пример: Четыре группы, 30 участников на группу (например, четыре разные группы клинической психологии) Зависимая переменная является числовой (например, оценки интеллекта) Ковариат числовой (например, индекс социально-экономического статуса) Исследовательские вопросы касаются того, существенно …

13 anova  multiple-comparisons  ancova 

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос так, чтобы он был по теме перекрестной проверки. Закрыто 5 месяцев назад . Есть ли хорошая библиотека Python для обучения расширенных деревьев решений?

13 python  cart  boosting 

Каким должно быть соотношение количества наблюдений и количества переменных? Как обнаружить переоснащение в модели нейронной сети и как избежать переобучения? Если я хочу выполнить классификацию с помощью нейронной сети, должны ли классы иметь одинаковую частоту? Пожалуйста, помогите мне.

13 neural-networks