Вопросы с тегом «least-squares»

Я новичок в машинном обучении и пытаюсь научиться этому сам. Недавно я читал некоторые конспекты лекций и у меня возник основной вопрос. Слайд 13 говорит, что «Оценка по методу наименьших квадратов такая же, как и оценка максимального правдоподобия по гауссовой модели». Кажется, это что-то простое, но я не могу этого …

26 regression  bayesian  least-squares 

В простой регрессионной модели, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, оценки OLS и коррелированы.β^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} Формула для корреляции между двумя оценками (если я вывел ее правильно): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Вопросов: Что такое интуитивное объяснение наличия корреляции? Имеет ли наличие корреляции какие-либо важные последствия? Сообщение было …

25 regression  least-squares  estimators 

ANOVA против множественной линейной регрессии? Я понимаю, что оба эти метода, похоже, используют одну и ту же статистическую модель. Однако при каких обстоятельствах я должен использовать какой метод? Каковы преимущества и недостатки этих методов при сравнении? Почему ANOVA так часто используется в экспериментальных исследованиях, а я вряд ли когда-нибудь найду …

24 anova  multiple-regression  least-squares 

Если наилучшим линейным приближением (с использованием наименьших квадратов) моих точек данных является линия y=mx+by=mx+by=mx+b , как я могу рассчитать ошибку аппроксимации? Если я вычислю стандартное отклонение различий между наблюдениями и предсказаниями , могу ли я потом сказать, что действительное (но не наблюдаемое) значение принадлежит интервалу ( ) с вероятностью ~ …

24 regression  normal-distribution  least-squares  prediction-interval 

Что такое алгебраическая запись для вычисления интервала прогнозирования множественной регрессии? Это звучит глупо, но у меня возникают проблемы с нахождением четкой алгебраической записи этого.

24 multiple-regression  least-squares  prediction-interval 

Вопрос очень прост: почему, когда мы пытаемся приспособить модель к нашим данным, линейным или нелинейным, мы обычно пытаемся минимизировать сумму квадратов ошибок, чтобы получить нашу оценку для параметра модели? Почему бы не выбрать другую целевую функцию, чтобы минимизировать? Я понимаю, что по техническим причинам квадратичная функция лучше, чем некоторые другие …

23 econometrics  least-squares 

Когда мы делаем множественные регрессии и говорим, что смотрим на среднее изменение переменной для изменения переменной , сохраняя все остальные переменные постоянными, при каких значениях мы держим другие переменные постоянными? Их значит? Нуль? Любое значение?yyyxxx Я склонен думать, что это любой ценностью; просто ищу разъяснений. Если бы у кого-то было …

22 multiple-regression  interpretation  least-squares  regression-coefficients  controlling-for-a-variable 

Помимо некоторых уникальных обстоятельств, когда мы абсолютно должны понимать условные средние отношения, в каких ситуациях исследователь должен выбрать OLS вместо квантильной регрессии? Я не хочу, чтобы ответ был «если нет смысла в понимании отношений хвоста», так как мы могли бы просто использовать медианную регрессию в качестве замены OLS.

22 least-squares  econometrics  regression-strategies  quantile-regression  semiparametric 

На странице 204 в главе 4 «Распознавание образов и машинное обучение» Бишопа есть изображение, где я не понимаю, почему решение по методу наименьших квадратов дает плохие результаты: Предыдущий абзац был о том факте, что решениям наименьших квадратов не хватает устойчивости к выбросам, как вы видите на следующем изображении, но я …

21 classification  least-squares 

В свете этого вопроса: Доказательство того, что коэффициенты в модели OLS следуют t-распределению с (nk) степенями свободы Я хотел бы понять, почему F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, где - число параметров модели, а - число наблюдений, а - полная дисперсия, - остаточная дисперсия, следует распределению .n T S S R S …

20 regression  hypothesis-testing  least-squares  f-distribution  f-statistic 

Я знаю, как математически рассчитать PCA и SVD, и я знаю, что оба могут быть применены к регрессии линейных наименьших квадратов. Основным преимуществом SVD математически представляется то, что его можно применять к неквадратным матрицам. Оба сосредоточены на разложении матрицыПомимо упомянутого преимущества SVD, есть ли какие-либо дополнительные преимущества или идеи, предоставляемые …

20 pca  least-squares  svd 

Недавно я обнаружил, что в литературе по прикладной эконометрике, когда речь идет о проблемах выбора признаков, нередко выполняется LASSO с последующей регрессией OLS с использованием выбранных переменных. Мне было интересно, как мы можем квалифицировать обоснованность такой процедуры. Это вызовет проблемы, такие как пропущенные переменные? Какие-либо доказательства того, что это более …

20 regression  feature-selection  econometrics  least-squares  lasso 

Я начну с моей регрессии OLS: где D - фиктивная переменная, оценки становятся отличными от нуля с низким значением p. Затем я предварительно провожу тест СБРОСА Рэмси и нахожу, что у меня есть некоторая неправильная оценка уравнения, поэтому я включаю квадрат x: y = β 0 + β 1 x …

20 regression  multiple-regression  interpretation  least-squares  polynomial 

Я прочитал это утверждение на одном старом истинном / ложном экзамене: Мы можем получить несколько локальных оптимальных решений, если решим задачу линейной регрессии путем минимизации суммы квадратов ошибок с использованием градиентного спуска. Решение: Неверно У меня вопрос, какая часть этого вопроса не так? Почему это утверждение неверно?

19 least-squares  gradient-descent  convex 

Если имеет полный ранг, существует обратное к и мы получаем оценку наименьших квадратов: иХ Т Х β = ( Х Т Х ) - 1 х YXXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Как мы можем интуитивно объяснить в формуле дисперсии? Техника деривации для меня понятна.(XTX)−1(XTX)−1(X^TX)^{-1}

18 regression  variance  least-squares