Вопросы с тегом «least-squares»

При каких обстоятельствах следует рассмотреть использование методов регуляризации (регрессия ребра, лассо или наименьших углов) вместо OLS? В случае, если это поможет вести дискуссию, мой главный интерес - повышение точности прогнозирования.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Я понимаю, что оценка регрессии гребня является ββ\beta который минимизирует остаточную сумму квадрата и штраф на размер ββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Однако я не до конца понимаю значение того факта, что βridgeβridge\beta_\text{ridge} отличается от βOLSβOLS\beta_\text{OLS} только добавлением небольшой константы к диагонали …

59 regression  least-squares  ridge-regression  shrinkage 

Зачем использовать среднеквадратичную ошибку (RMSE) вместо средней абсолютной ошибки (MAE) ?? Здравствуй Я исследовал ошибку, сгенерированную в вычислениях - сначала я рассчитал ошибку как среднеквадратичную среднеквадратичную ошибку. Присмотревшись немного поближе, я вижу, что эффекты возведения в квадрат ошибки дают больший вес большим ошибкам, чем меньшим, отклоняя оценку ошибки в сторону …

59 least-squares  mean  rms  mae 

Достоверно авторитетные источники утверждают, что зависимая переменная должна быть нормально распределена: Предположения модели: нормально распределен, ошибки нормально распределены, и независимы, фиксирован и постоянная дисперсия .e i ∼ N ( 0 , σ 2 ) X σ 2YYYei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2)XXXσ2σ2\sigma^2 Penn State, STAT 504 Анализ дискретных данных Во-вторых, линейный регрессионный анализ …

45 regression  least-squares  linear-model  dependent-variable 

На этом сайте есть несколько потоков, обсуждающих, как определить, асимптотически ли нормально распределены остатки OLS . В этом превосходном ответе представлен другой способ оценки нормальности остатков с помощью R-кода . Это еще одно обсуждение практической разницы между стандартизированными и наблюдаемыми остатками. Но допустим, что остатки определенно не распределяются нормально, как …

45 regression  least-squares  residuals  assumptions  normality-assumption 

В чем основное различие между оценкой максимального правдоподобия (MLE) и оценкой наименьших квадратов (LSE)? Почему мы не можем использовать MLE для прогнозирования значений в линейной регрессии и наоборот?Yyy Любая помощь по этой теме будет принята с благодарностью.

42 regression  estimation  maximum-likelihood  least-squares 

Я обычно слышу о "обычных наименьших квадратах". Это наиболее широко используемый алгоритм, используемый для линейной регрессии? Есть ли причины использовать другой?

42 regression  least-squares  algorithms  computational-statistics  numerics 

У меня возникли некоторые проблемы с выводом решения для регрессии гребня. Я знаю регрессионное решение без условия регуляризации: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Но после добавления термина L2 к функции стоимости, получается решениеλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

41 regression  least-squares  regularization  ridge-regression 

Почему де-факто стандартная сигмоидальная функция так популярна в (не глубоких) нейронных сетях и логистической регрессии?11 + е- х11+e−x\frac{1}{1+e^{-x}} Почему бы нам не использовать многие из других производных функций с более быстрым временем вычисления или более медленным затуханием (так что исчезающий градиент происходит меньше). Немного примеров в Википедии о сигмоидальных функциях …

40 logistic  neural-networks  least-squares 

Когда мы проводим линейную регрессию для подбора группы точек данных , классический подход минимизирует квадратичную ошибку. Я уже давно озадачен вопросом, будет ли минимизация квадратичной ошибки таким же результатом, как минимизация абсолютной ошибки ? Если нет, то почему минимизировать квадрат ошибки лучше? Есть ли какая-либо причина, кроме «целевая функция дифференцируема»?y=ax+by=ax+by=ax+b(x1,y1),(x2,y2),...,(xn,yn)(x1,y1),(x2,y2),...,(xn,yn)(x_1,y_1),(x_2,y_2),...,(x_n,y_n) …

39 least-squares  error 

Я пытаюсь запустить регрессию OLS: DV: изменение веса за год (начальный вес - конечный вес) IV: Независимо от того вы занимаетесь спортом. Тем не менее, кажется разумным, что более тяжелые люди будут терять больше веса на единицу нагрузки, чем более худые люди. Таким образом, я хотел включить переменную управления: CV: …

38 regression  repeated-measures  least-squares  change-scores 

Задний план Предположим, у нас есть модель Обыкновенных наименьших квадратов, в которой у нас есть коэффициентов в нашей регрессионной модели, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} где - вектор коэффициентов, - матрица проектирования, определяемая какββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots …

29 regression  linear-model  least-squares  t-distribution 

Я всегда использую lm()в R для выполнения линейной регрессии yyy на xxx . Эта функция возвращает коэффициент ββ\beta такой, что y=βx.y=βx.y = \beta x. Сегодня я узнал об общих наименьших квадратах, и эту princomp()функцию (анализ основных компонентов, PCA) можно использовать для ее выполнения. Это должно быть хорошо для меня (точнее). …

29 r  pca  least-squares  deming-regression  total-least-squares 

Я только что наткнулся на эту статью , в которой описывается, как вычислить повторяемость (или надежность, или внутриклассовую корреляцию) измерения с помощью моделирования смешанных эффектов. Код R будет: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

Я хотел бы понять, почему в рамках модели OLS RSS (остаточная сумма квадратов) распределяется ( - это число параметров в модели, - количество наблюдений).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Я прошу прощения за то, что задал такой простой вопрос, но мне кажется, что я не могу найти ответ онлайн (или в моих, более ориентированных …

28 regression  distributions  least-squares