Вопросы с тегом «regression»

В последнее время мне пришлось читать несколько статей по экономике (область, с которой я не слишком знаком). Одна вещь, которую я заметил, это то, что даже когда переменная отклика является двоичной, модели линейной регрессии, использующие OLS, повсеместны. Поэтому мой вопрос: Почему линейная регрессия предпочтительнее, например, логистической регрессии в области экономики? …

13 regression  logistic  econometrics 

Я читал этот вопрос о крупномасштабной регрессии ( ссылка ), где Уубер указал на интересный момент: «Практически любой выполняемый вами статистический тест будет настолько мощным, что почти наверняка будет выявлен« значительный »эффект. Вы должны уделять больше внимания статистической значимости, такой как величина эффекта, а не значимость». --- whuber Мне было …

13 regression  statistical-significance 

норма является уникальной (по крайней мере частично) , потому что находится на границе между невыпуклые и выпуклы. норма является «наиболее разреженным» выпуклая норма (правда?).L1L1L_1p=1p=1p=1L1L1L_1 Я понимаю, что евклидова норма имеет корни в геометрии и имеет четкую интерпретацию, когда измерения имеют одинаковые единицы. Но я не понимаю, почему он используется преимущественно …

13 regression  regularization  sparse 

Я знаю, что в линейной регрессии переменная отклика должна быть непрерывной, но почему это так? Кажется, я не могу найти в Интернете ничего, что объясняет, почему я не могу использовать дискретные данные для переменной ответа.

13 regression  linear 

Немного предыстории Я работаю над интерпретацией регрессионного анализа, но я действительно запутался в значении r, r в квадрате и остаточного стандартного отклонения. Я знаю определения: характеризации r измеряет силу и направление линейной зависимости между двумя переменными на диаграмме рассеяния R-квадрат - это статистическая мера того, насколько близки данные к подогнанной …

13 r  regression  regression-coefficients  linear  pearson-r 

Учитывая две случайные величины ξξ\xi и ηη\eta мы можем вычислить их «коэффициент корреляции» ccc и сформировать линию наилучшего соответствия между этими двумя случайными переменными. У меня вопрос почему? 1) Существуют случайные величины, ξξ\xi и ηη\eta которые зависят наихудшим образом, т. ξ=f(η)ξ=f(η)\xi = f(\eta) и, несмотря на это, c=0c=0c=0 . Если …

13 regression 

В книге Бишопа по машинному обучению обсуждается проблема подгонки полиномиальной функции к набору точек данных. Пусть M - порядок подогнанного многочлена. Это утверждает, что Мы видим, что с увеличением M величина коэффициентов обычно становится больше. В частности, для полинома M = 9 коэффициенты были точно настроены на данные путем разработки …

13 regression  least-squares  curve-fitting  polynomial 

В « Статистических методах в атмосферных науках» Дэниел Уилкс отмечает, что множественная линейная регрессия может привести к проблемам, если между предикторами существуют очень сильные корреляции (3-е издание, стр. 559-560): Патология, которая может возникнуть при множественной линейной регрессии, состоит в том, что набор переменных-предикторов, имеющих сильные взаимные корреляции, может привести к …

13 regression  pca  bias 

Этот вопрос вдохновлен долгим обсуждением в комментариях здесь: Как линейная регрессия использует нормальное распределение? В обычной модели линейной регрессии для простоты здесь написано только с одним предиктором: Yi=β0+β1xi+ϵiYi=β0+β1xi+ϵi Y_i = \beta_0 + \beta_1 x_i + \epsilon_i где xixix_i - известные константы, а ϵiϵi\epsilon_i - члены с независимой ошибкой с нулевым …

13 regression  normal-distribution  mathematical-statistics  maximum-likelihood  least-squares 

Смущающий простой вопрос - но, кажется, его не задавали на Cross Validated раньше: Каково определение модели регрессии? Также вопрос поддержки, Чем не модель регрессии? Что касается последнего, меня интересуют хитрые примеры, где ответ не сразу очевиден, например, ARIMA или GARCH.

13 regression  linear-model  model  terminology  definition 

Что такое частичная F-статистика? Это то же самое, что частичный F-тест? Когда бы вы рассчитали частичную F-статистику? Я предполагаю, что это как-то связано со сравнением регрессионных моделей, но я не следую чему-то (?)

13 regression  multiple-regression 

Я работаю над некоторыми синтетическими данными для модели Error In Variable для некоторых исследований. В настоящее время у меня есть одна независимая переменная, и я предполагаю, что знаю дисперсию для истинного значения зависимой переменной. Таким образом, с помощью этой информации я могу получить объективную оценку для коэффициента зависимой переменной. Модель: …

13 regression  matlab  unbiased-estimator  errors-in-variables 

В модели y=Xβ+ϵy=Xβ+ϵ{y} = X \beta + \epsilon мы могли бы оценить ββ\beta используя нормальное уравнение: β^=(X′X)−1X′y,β^=(X′X)−1X′y,\hat{\beta} = (X'X)^{-1}X'y,и мы могли бы получить у =X & beta .y^=Xβ^.y^=Xβ^.\hat{y} = X \hat{\beta}. Вектор невязок оценивается как ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q …

13 regression  least-squares  inference 

При выполнении регрессии, если мы перейдем к определению из: Какова разница между частичной вероятностью, профильной вероятностью и предельной вероятностью? что Максимальное правдоподобие Найти β и θ, который максимизирует L (β, θ | данных). В то время как предельное правдоподобие Мы интегрируем θ из уравнения правдоподобия, используя тот факт, что мы …

13 regression  maximum-likelihood 

Я хотел бы сделать W-тест Шапиро Уилка и тест Колмогорова-Смирнова на невязках линейной модели, чтобы проверить на нормальность. Мне было просто интересно, какие остатки следует использовать для этого - необработанные остатки, остатки Пирсона, студентизированные остатки или стандартизированные остатки? Для теста W Шапиро-Уилка кажется, что результаты для неочищенных и остатков Пирсона …

13 r  regression  residuals  normality-assumption  lm