Вопросы с тегом «shrinkage»

Хребетная регрессия оценивает параметры в линейной модели by где - параметр регуляризации. Хорошо известно, что он часто работает лучше, чем регрессия OLS (с ), когда существует много коррелированных предикторов.у = Х & beta ; & beta ; А , = ( Х ⊤ Х + А , I ) - …

16 regression  ridge-regression  shrinkage 

Если мы начнем с набора данных , применим к нему Лассо и получим решение , мы можем снова применить Лассо к набору данных , где - это набор ноль индексов , чтобы получить решение, , называемое «расслабленным решением LASSO» (поправьте меня, если я ошибаюсь!). Решение должно удовлетворять условиям Каруша-Куна-Такера (KKT) …

16 regression  optimization  lasso  regularization  shrinkage 

На этом сайте уже есть пост, посвященный той же проблеме: почему работает усадка? Но, хотя ответы и популярны, я не верю, что суть вопроса действительно решена. Совершенно очевидно, что введение некоторого смещения в оценку приводит к снижению дисперсии и может улучшить качество оценки. Тем не мение: 1) Почему ущерб, нанесенный …

15 regularization  ridge-regression  shrinkage 

Я согласен с идеей сжатия Джеймса-Стейна (то есть, что нелинейная функция одного наблюдения вектора возможно независимых нормалей может быть лучшей оценкой средних значений случайных величин, где «лучше» измеряется квадратической ошибкой). ). Однако я никогда не видел его в прикладной работе. Я явно недостаточно хорошо прочитал. Есть ли классические примеры того, …

15 estimation  error  shrinkage  application  steins-phenomenon 

Существуют ли аналитические результаты или экспериментальные работы относительно оптимального выбора коэффициента штрафного члена . Под оптимальным я подразумеваю параметр, который максимизирует вероятность выбора наилучшей модели или минимизирует ожидаемые потери. Я спрашиваю, потому что часто нецелесообразно выбирать параметр путем перекрестной проверки или начальной загрузки, либо из-за большого количества случаев проблемы, либо …

15 model-selection  lasso  shrinkage 

В некоторых кругах слово «усадка» часто встречается. Но что такое усадка, то здесь нет четкого определения. Если у меня есть временной ряд (или какая-либо коллекция наблюдений какого-либо процесса), как я могу измерить эмпирическую усадку ряда? О каких типах теоретической усадки я могу говорить? Как усадка может помочь в прогнозировании? Могут …

13 estimation  predictive-models  shrinkage 

Zou et al. «О« степенях свободы »Лассо» (2007) показывают, что число ненулевых коэффициентов является объективной и непротиворечивой оценкой степеней свободы Лассо. Это кажется немного нелогичным для меня. Предположим, у нас есть модель регрессии (где переменные имеют среднее значение ноль) y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. Предположим, что неограниченная оценка OLS для равна …

12 regression  lasso  degrees-of-freedom  shrinkage 

Тем временем я изучаю LASSO (оператор наименьшей абсолютной усадки и выбора). Я вижу, что оптимальное значение параметра регуляризации можно выбрать перекрестной проверкой. Я также вижу в регрессии гребня и во многих методах, которые применяют регуляризацию, мы можем использовать CV, чтобы найти оптимальный параметр регуляризации (скажем, штраф). Теперь мой вопрос о …

12 lasso  regularization  shrinkage 

Предположим, у меня есть два оценщика и которые являются согласованными оценками одного и того же параметра и такого, что с в смысле psd. Таким образом, асимптотически более эффективен, чем . Эти две оценки основаны на различных функциях потерь. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 …

11 regression  ridge-regression  shrinkage  penalized 

Каждое утверждение, которое я нахожу относительно оценки Джеймса-Стейна, предполагает, что оцениваемые случайные переменные имеют одинаковую (и единичную) дисперсию. Но во всех этих примерах также упоминается, что оценка JS может использоваться для оценки величин, не имеющих ничего общего друг с другом. Пример википедии является скорость света, потребление чая в Тайване, и …

11 estimation  shrinkage  steins-phenomenon 

Ради простого примера предположим, что есть две модели линейной регрессии Модель 1 имеет три предсказатели, x1a, x2b, иx2c Модель 2 имеет три предиктора из модели 1 и два дополнительных предиктора x2aиx2b Существует уравнение регрессии населения, где объясняется дисперсия населения для Модели 1 и для Модели 2. Инкрементная дисперсия, объясненная Моделью …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Предположим, у меня есть продольные данные вида (у меня есть несколько наблюдений, это просто форма одного). Я заинтересован в ограничениях . Неограниченная эквивалентна взятию с .Σ Σ Y j = α j + j - 1 ∑ ℓ = 1 ϕ ℓ j Y j j - ℓ + ε …

9 feature-selection  lasso  shrinkage 

Меня смущает анализ перестановок для выбора функций в контексте логистической регрессии. Не могли бы вы дать четкое объяснение теста случайной перестановки и как он применяется к выбору функции? Возможно, с точным алгоритмом и примерами. Наконец, как это можно сравнить с другими методами усадки, такими как лассо или LAR?

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Предположим, у меня есть парные наблюдения, нарисованные как для . Пусть и обозначим через J - й по величине наблюдаемое значение Z . Что такое (условное) распределение X_ {i_j} ? (или, что то же самое, что Y_ {i_j} )Xi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i,ZijZijZ_{i_j}jjjZZZXijXijX_{i_j}YijYijY_{i_j} То есть …

9 distributions  order-statistics  shrinkage