Вопросы с тегом «least-squares»

Я пытаюсь подогнать регрессию, чтобы объяснить количество убийств в каждом районе города. Хотя я знаю, что мои данные соответствуют распределению Пуассона, я попытался подобрать OLS следующим образом: л о г( у+ 1 ) = α + βИкс+ ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Затем я также попробовал (конечно!) …

18 regression  least-squares  poisson-regression 

Из «Введения в статистическое обучение » Джеймса и др., Оценка перекрестной проверки (LOOCV) определяется как где .резюме( н )= 1NΣя = 1NMSEярезюме(N)знак равно1NΣязнак равно1NMSEя\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEя= ( уя- у^я)2MSEязнак равно(Yя-Y^я)2\text{MSE}_i = (y_i-\hat{y}_i)^2 Без доказательства уравнение (5.2) утверждает, что для регрессии наименьших квадратов или полиномиальной регрессии (относится ли это к регрессии …

18 regression  self-study  cross-validation  least-squares 

На основании нескольких статей, книг и статей, которые я прочитал, у меня сложилось впечатление, что рекомендуемый способ подбора распределения вероятностей для набора данных - использование оценки максимального правдоподобия (MLE). Тем не менее, как физик, более интуитивный способ состоит в том, чтобы просто подогнать PDF модели к эмпирическому PDF данных, используя …

18 distributions  maximum-likelihood  least-squares  heteroscedasticity  fitting 

Я видел этот список здесь и не мог поверить, что было так много способов решить наименьших квадратов. «Нормальные уравнения» на Википедии , казалось, довольно прямым α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} Так почему бы просто не использовать их? Я …

17 regression  least-squares  scikit-learn 

У меня есть вопрос об опущенном переменном смещении в логистической и линейной регрессии. Скажем, я опускаю некоторые переменные из модели линейной регрессии. Сделайте вид, что эти пропущенные переменные не связаны с переменными, которые я включил в мою модель. Эти пропущенные переменные не смещают коэффициенты в моей модели. Но в логистической …

17 regression  logistic  least-squares  bias 

Мне было интересно, есть ли связь между и F-Test.R2R2R^2 Обычно и измеряет силу линейные отношения в регрессии.R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} F-тест просто подтверждает гипотезу. Есть ли связь между и F-тестом?R2R2R^2

17 regression  hypothesis-testing  least-squares  goodness-of-fit 

Рассмотрим стандартную задачу регрессии OLS \newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin} : У меня есть матрицы YY\Y и XX\X и я хочу найти ββ\B чтобы минимизировать L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2. Решение дается β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. Я также могу поставить «обратную» проблему: учитывая YY\Y и β∗β∗\B^* , найдите X^X^\hat\X , который даст β^≈β∗β^≈β∗\hat\B\approx \B^* , то …

16 regression  least-squares  ridge-regression 

Что означает термин «частичный» в моделировании структурных уравнений с частичной наименьших квадратов (PLSR) или частичных наименьших квадратов (PLS-SEM)?

16 multiple-regression  least-squares  terminology  sem  partial-least-squares 

Не уверен, что слово «нормализация» - это правильное слово, но я постараюсь сделать все возможное, чтобы проиллюстрировать то, что я пытаюсь спросить. Здесь используется оценка наименьших квадратов. Предположим, у вас есть y = β 0 + β 1 x 1y=β0+β1x1y=\beta_0+\beta_1x_1 , вы можете центрировать его вокруг среднего значения y = …

16 regression  self-study  least-squares  regression-coefficients 

Я использовал итеративно переоцененные наименьшие квадраты (IRLS), чтобы минимизировать функции следующей формы, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) где NNN - количество экземпляров xi∈Rxi∈Rx_i \in \mathbb{R} , m∈Rm∈Rm \in \mathbb{R} - надежная оценка, которую я хочу, а ρρ\rho - подходящая робастная штрафная функция. Допустим, он выпуклый (хотя …

16 estimation  least-squares  robust  irls 

Эта ссылка на Википедию перечисляет ряд методов для определения гетероскедастичности остатков МНК. Я хотел бы узнать, какой практический метод более эффективен в обнаружении областей, затронутых гетероскедастичностью. Например, здесь видно, что центральная область на графике OLS «Остаточные и адаптированные» имеет более высокую дисперсию, чем стороны графика (я не совсем уверена в …

16 regression  least-squares  heteroscedasticity 

Я новичок в этом, поэтому я надеюсь, что вы простите меня, если вопрос наивный. (Контекст: я изучаю эконометрику из книги Дэвидсона и Маккиннона "Эконометрическая теория и методы" , и они, кажется, не объясняют этого; я также посмотрел книгу по оптимизации Люенбергера, которая рассматривает проекции на более продвинутом уровне, но без …

16 regression  least-squares 

Сегодня я играл с небольшим набором данных и выполнил простую регрессию OLS, которую я ожидал потерпеть неудачу из-за совершенной мультиколлинеарности. Однако это не так. Это подразумевает, что мое понимание мультиколлинеарности неверно. Мой вопрос: где я не прав? Я думаю, что могу показать, что одна из моих переменных является линейной комбинацией …

15 multiple-regression  least-squares  multicollinearity 

Для линейной модели решение OLS обеспечивает наилучшую линейную несмещенную оценку параметров. Конечно, мы можем обменять смещение на более низкую дисперсию, например, на регрессию гребня. Но мой вопрос касается отсутствия предвзятости. Существуют ли какие-либо другие оценщики, которые обычно используются, которые являются несмещенными, но с большей дисперсией, чем оценочные параметры OLS? Если …

15 regression  least-squares  linear  unbiased-estimator  blue 

Я делаю презентацию о примерочных линиях. У меня есть простая линейная функция, . Я пытаюсь получить разбросанные точки данных, которые я могу поместить в график рассеяния, чтобы моя линия лучше соответствовала тому же уравнению.y=1x+by=1x+by=1x+b Я хотел бы изучить эту технику в R или Excel - в зависимости от того, что …

15 r  regression  least-squares  excel