Вопросы с тегом «regression»

Я хотел бы получить коэффициенты для задачи LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Проблема в том, что функции glmnet и lars дают разные ответы. Для функции glmnet я спрашиваю коэффициенты вместо просто λ , но я все еще получаю разные ответы.λ/||Y||λ/||Y||\lambda/||Y||λλ\lambda Это ожидается? Какова связь между ларами и glmnet λ ? Я понимаю, …

13 r  machine-learning  regression  lasso  regularization 

Каковы плюсы и минусы использования LARS [1] по сравнению с использованием координатного спуска для подбора L1-регуляризованной линейной регрессии? Я в основном заинтересован в аспектах производительности (мои проблемы, как правило, Nисчисляются сотнями тысяч и p<20). Однако, любые другие идеи также будут оценены. редактировать: так как я разместил вопрос, chl любезно указал …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

У меня есть многомерная регрессия, которая включает в себя взаимодействия. Например, чтобы получить оценку эффекта лечения для самого бедного квинтиля, мне нужно добавить коэффициенты от регрессора лечения к коэффициенту из переменной взаимодействия (которая взаимодействует с лечением и квинтилем 1). При добавлении двух коэффициентов из регрессии, как получить стандартные ошибки? Можно …

13 regression  standard-deviation  standard-error 

Я хочу построить регрессионную модель, которая представляет собой среднее из нескольких моделей OLS, каждая из которых основана на подмножестве полных данных. Идея, лежащая в основе этого, основана на этой статье . Я создаю k сгибов и строю k моделей OLS, каждая на основе данных без одного сгиба. Затем я усредняю …

13 regression  least-squares  ensemble 

В книге « В основном безвредная эконометрика: спутник эмпирика» (Angrist and Pischke, 2009: стр. 209) я прочитал следующее: (...) На самом деле, только что идентифицированный 2SLS (скажем, простой оценщик Вальда) примерно беспристрастен . Это трудно показать формально, потому что только что идентифицированный 2SLS не имеет моментов (то есть, распределение выборки …

13 regression  self-study  multiple-regression  econometrics  instrumental-variables 

В прошлом поэтапная регрессия использовалась во многих биомедицинских работах, но, похоже, она улучшается благодаря лучшему пониманию многих ее проблем. Однако многие старые рецензенты все еще просят об этом. В каких обстоятельствах ступенчатая регрессия играет свою роль и должна использоваться, если таковая имеется?

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression 

Я хочу рассчитать AICc модели регрессии гребня. Проблема в количестве параметров. Для линейной регрессии большинство людей предполагают, что число параметров равно количеству оценочных коэффициентов плюс сигма (дисперсия ошибки). Когда дело доходит до регрессии гребня, я читал, что след матрицы шляп - степень свободы (df) - просто используется как число параметров …

13 regression  aic  ridge-regression  degrees-of-freedom 

Фон: Я пытаюсь следовать обзору Принстона оценки MLE для GLM . Я понимаю основы оценки MLE: likelihood, score, наблюдаемая и ожидаемая Fisher informationи Fisher scoringтехника. И я знаю, как обосновать простую линейную регрессию с помощью оценки MLE . Вопрос: Я не могу понять даже первую строку этого метода :( Что …

13 regression  generalized-linear-model  maximum-likelihood  link-function  irls 

Я занимался настройкой модели caret, но затем перезапустил модель, используя gbmпакет. Насколько я понимаю, caretпакет использует gbmи вывод должен быть одинаковым. Тем не менее, только быстрый запуск теста data(iris)показывает несоответствие в модели около 5% с использованием RMSE и R ^ 2 в качестве метрики оценки. Я хочу найти оптимальную производительность …

13 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

Рассмотрим модель линейной регрессии ,y=Xβ+uy=Xβ+u\mathbf{y}=\mathbf{X\beta}+\mathbf{u} ,u∼N(0,σ2I)u∼N(0,σ2I)\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I}) .E(u∣X)=0E(u∣X)=0E(\mathbf{u}\mid\mathbf{X})=\mathbf{0} Пусть против H 1 : σ 2 0 ≠ σ 2 .H0:σ20=σ2H0:σ02=σ2H_0: \sigma_0^2=\sigma^2H1:σ20≠σ2H1:σ02≠σ2H_1: \sigma_0^2\neq\sigma^2 Мы можем сделать вывод, что , гдеdim(X)=n×k. ИМХявляется типичным для обозначения матрицы аннуляторного,МXу= у , где у является зависимой переменнойурегрессировали наX.yTMXyσ2∼χ2(n−k)yTMXyσ2∼χ2(n−k)\frac{\mathbf{y}^T\mathbf{M_X}\mathbf{y}}{\sigma^2}\sim \chi^2(n-k)dim(X)=n×kdim(X)=n×kdim(\mathbf{X})=n\times kMXMX\mathbf{M_X}MXy=y^MXy=y^\mathbf{M_X}\mathbf{y}=\hat{\mathbf{y}}y^y^ \hat{\mathbf{y}}yy\mathbf{y}XX\mathbf{X} Книга, которую я читаю, …

13 regression  hypothesis-testing  mathematical-statistics  inference 

Я понимаю, что эта тема поднималась несколько раз, например, здесь , но я все еще не уверен, как лучше интерпретировать мой результат регрессии. У меня есть очень простой набор данных, состоящий из столбца значений x и столбца значений y , разделенных на две группы в зависимости от местоположения (loc). Точки …

13 regression  p-value  least-squares  aic 

Я прочитал, что группа Лассо используется для выбора переменных и разреженности в группе переменных. Я хочу знать интуицию, стоящую за этим утверждением. Почему группа лассо предпочтительнее лассо? Почему путь решения группы Лассо не является кусочно-линейным?

13 regression  feature-selection  lasso  regularization 

Я гуглил и искал по stats.stackexchange, но не могу найти формулу для расчета 95% доверительного интервала для значения для линейной регрессии. Кто-нибудь может это предоставить?р2R2R^2 Еще лучше, скажем, я выполнил линейную регрессию ниже в R. Как бы я вычислил 95% доверительный интервал для значения используя код R.р2R2R^2 lm_mtcars <- lm(mpg …

13 r  regression  confidence-interval  inference  r-squared 

У меня есть ежедневные данные о продажах для продукта, который является очень сезонным. Я хочу уловить сезонность в регрессионной модели. Я читал, что если у вас есть квартальные или месячные данные, в этом случае вы можете создать 3 и 11 фиктивных переменных соответственно - но могу ли я иметь дело …

13 regression  time-series  multiple-regression  categorical-data 

В данном конкретном случае я имею в виду день замерзания озера. Эта дата «обледенения» встречается только один раз в год, но иногда вообще не происходит (если зима теплая). Таким образом, в один год озеро может замерзнуть в день 20 (20 января), а в другой год оно может вообще не замерзнуть. …

13 regression  time-series  survival  data-transformation  recurrent-events