Вопросы с тегом «least-squares»

Я должен преподавать теорему Фриша Во в эконометрике, которую я не изучал. Я понял математику, стоящую за этим, и я надеюсь, что идея «коэффициент, который вы получаете для определенного коэффициента из множественной линейной модели, равен коэффициенту простой регрессионной модели, если вы« исключаете »влияние других регрессоров». Так что теоретическая идея довольно …

15 regression  econometrics  least-squares  projection  decomposition 

Я пытаюсь понять, как работают функции влияния. Может ли кто-то объяснить в контексте простой регрессии OLS yi=α+β⋅xi+εiyi=α+β⋅xi+εi\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation} где я хочу функцию влияния для .ββ\beta

15 regression  least-squares 

Примечание. = сумма квадратов, = сумма квадратов ошибок и = регрессионная сумма квадратов. Уравнение в названии часто записывается как:SSTSSTSSTSSESSESSESSRSSRSSR ∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2 Довольно простой вопрос, но я ищу интуитивное объяснение. Интуитивно, мне кажется, что будет иметь больше смысла. Например, предположим, что точка имеет соответствующее значение …

14 regression  least-squares  r-squared 

Может кто-нибудь кратко объяснить мне, почему каждое из шести предположений необходимо для вычисления оценки OLS? Я обнаружил только мультиколлинеарность: если она существует, мы не можем инвертировать (X'X) матрицу и, в свою очередь, оценить общую оценку. А как насчет других (например, линейность, средние ошибки и т. Д.)?

14 least-squares  assumptions 

Почему мы стремимся минимизировать, x^2а не минимизировать |x|^1.95или |x|^2.05. Есть ли причины, по которым число должно быть ровно двумя, или это просто соглашение, которое имеет преимущество в упрощении математики?

14 standard-deviation  least-squares 

Скажем, у нас есть X формы (2, 5) и y формы (2,) Это работает: np.linalg.lstsq(X, y) Мы ожидаем, что это сработает, только если X имеет форму (N, 5), где N> = 5. Но почему и как? Мы получаем 5 весов, как и ожидалось, но как решить эту проблему? Разве у …

14 least-squares  linear-algebra  numpy 

Я выпускник факультета бизнеса и экономики, который в настоящее время учится на степень магистра в области инженерии данных. Во время изучения линейной регрессии (LR), а затем анализа временных рядов (TS) у меня возник вопрос. Зачем создавать новый метод, т. Е. Временные ряды (ARIMA), вместо использования множественной линейной регрессии и добавления …

14 regression  time-series  multiple-regression  least-squares  arima 

Я знаю, как выполнить линейную регрессию на множестве точек. То есть я знаю, как подогнать полином по своему выбору для данного набора данных (в смысле LSE). Однако чего я не знаю, так это как заставить мое решение пройти через некоторые конкретные пункты моего выбора. Я видел, как это было сделано …

14 regression  machine-learning  least-squares  linear-model  polynomial 

Вопрос прост: уместно ли использовать линейную регрессию, когда Y ограничен и дискретен (например, оценка теста 1 ~ 100, некоторое заранее определенное ранжирование 1 ~ 17)? В этом случае «нехорошо» использовать линейную регрессию или это совершенно неправильно?

14 regression  multiple-regression  least-squares  linear  bounds 

В книге Бишопа по машинному обучению обсуждается проблема подгонки полиномиальной функции к набору точек данных. Пусть M - порядок подогнанного многочлена. Это утверждает, что Мы видим, что с увеличением M величина коэффициентов обычно становится больше. В частности, для полинома M = 9 коэффициенты были точно настроены на данные путем разработки …

13 regression  least-squares  curve-fitting  polynomial 

Этот вопрос вдохновлен долгим обсуждением в комментариях здесь: Как линейная регрессия использует нормальное распределение? В обычной модели линейной регрессии для простоты здесь написано только с одним предиктором: Yi=β0+β1xi+ϵiYi=β0+β1xi+ϵi Y_i = \beta_0 + \beta_1 x_i + \epsilon_i где xixix_i - известные константы, а ϵiϵi\epsilon_i - члены с независимой ошибкой с нулевым …

13 regression  normal-distribution  mathematical-statistics  maximum-likelihood  least-squares 

В модели y=Xβ+ϵy=Xβ+ϵ{y} = X \beta + \epsilon мы могли бы оценить ββ\beta используя нормальное уравнение: β^=(X′X)−1X′y,β^=(X′X)−1X′y,\hat{\beta} = (X'X)^{-1}X'y,и мы могли бы получить у =X & beta .y^=Xβ^.y^=Xβ^.\hat{y} = X \hat{\beta}. Вектор невязок оценивается как ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q …

13 regression  least-squares  inference 

Когда предпочтительнее использовать оценку максимального правдоподобия вместо обычных наименьших квадратов? Каковы сильные и слабые стороны каждого? Я пытаюсь собрать практические знания о том, где использовать каждый в общих ситуациях.

13 regression  maximum-likelihood  least-squares 

Если в стандартных регрессиях OLS нарушаются два предположения (нормальное распределение ошибок, гомоскедастичность), является ли начальная загрузка стандартных ошибок и доверительных интервалов подходящей альтернативой для получения значимых результатов в отношении значимости коэффициентов регрессора? Тесты значимости с загруженными стандартными ошибками и доверительными интервалами все еще работают с гетероскедастичностью? Если да, то какие …

13 regression  bootstrap  least-squares  heteroscedasticity 

Вот мой контекст для этого вопроса: Из того, что я могу сказать, мы не можем запустить обычную регрессию наименьших квадратов в R при использовании взвешенных данных и surveyпакета. Здесь мы должны использовать svyglm(), который вместо этого запускает обобщенную линейную модель (что может быть тем же самым? Я нечеткий здесь с …

13 r  generalized-linear-model  least-squares  r-squared  deviance