Вопросы с тегом «regression»

Я читаю построение многомерной модели: прагматический подход к регрессионному анализу, основанный на дробных полиномах для моделирования непрерывных переменных, автор Патрик Ройстон и Вилли Сауэрбрей. Пока что я впечатлен, и это интересный подход, который я раньше не рассматривал. Но авторы не имеют дело с отсутствующими данными. Действительно, на с. 17 они …

12 regression  missing-data  fractional-polynomial 

Есть несколько постов о том, как выбирать функции. Один из методов описывает важность функции на основе t-статистики. В R, varImp(model)примененном к линейной модели со стандартизованными характеристиками, используется абсолютное значение t-статистики для каждого параметра модели. Итак, в основном мы выбираем функцию на основе ее t-статистики, то есть, насколько точным является коэффициент. …

12 regression  p-value  feature-selection 

Я изучал линейную регрессию и попробовал ее на приведенном ниже множестве {(x, y)}, где x указал площадь дома в квадратных футах, а y - цену в долларах. Это первый пример в Andrew Ng Notes . 2104.400 1600.330 2400.369 1416.232 3000.540 Я разработал пример кода, но когда я его запускаю, стоимость …

12 regression  least-squares  gradient-descent  supervised-learning 

Вот проблема наименьшего абсолютного отклонения в данной области:, Я знаю, что это может быть перестроено как проблема LP следующим образом:argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n Но я понятия не имею, чтобы решить это шаг за шагом, …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

В чем разница между наименьшими квадратами и линейной регрессией? Это то же самое?

12 regression  least-squares  terminology 

Модерируемый регрессионный анализ часто используется в социальных науках для оценки взаимодействия между двумя или более предикторами / ковариатами. Как правило, с двумя переменными предикторами применяется следующая модель: Y=β0+β1∗X+β2∗M+β3∗XM+eY=β0+β1∗X+β2∗M+β3∗XM+eY = β_0 + β_1*X + β_2*M + β_3*XM + e Обратите внимание, что проверка модерации выполняется термином продукта XMXMXM (умножение между независимой …

12 regression  interaction 

Zou et al. «О« степенях свободы »Лассо» (2007) показывают, что число ненулевых коэффициентов является объективной и непротиворечивой оценкой степеней свободы Лассо. Это кажется немного нелогичным для меня. Предположим, у нас есть модель регрессии (где переменные имеют среднее значение ноль) y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. Предположим, что неограниченная оценка OLS для равна …

12 regression  lasso  degrees-of-freedom  shrinkage 

Что является примером идеальной коллинеарности с точки зрения матрицы дизайна ?XXX Я хотел бы привести пример, в котором не может быть оценен, потому что не является обратимым.β^=(X′X)−1X′Yβ^=(X′X)−1X′Y\hat \beta = (X'X)^{-1}X'Y(X′X)(X′X)(X'X)

12 regression  multicollinearity  matrix  matrix-inverse 

Если я не ошибаюсь, предполагается, что в линейной модели распределение отклика имеет систематический компонент и случайный компонент. Термин ошибки фиксирует случайную составляющую. Следовательно, если мы предположим, что термин ошибки нормально распределен, не означает ли это, что ответ также нормально распределен? Я думаю, что это так, но тогда утверждения, подобные приведенному …

12 regression  assumptions 

Я натолкнулся на три предложения по поводу чрезмерной дисперсии в переменной отклика Пуассона и стартовой модели с фиксированными эффектами: Используйте квази-модель; Используйте отрицательный биномиальный GLM; Используйте смешанную модель со случайным эффектом на уровне объекта. Но какой на самом деле выбрать и почему? Есть ли какой-то фактический критерий среди них?

12 regression  negative-binomial  poisson-regression  overdispersion  quasi-likelihood 

Я сделал измерений двух переменных и . Они оба имеют известные неопределенности и связанные с ними. Я хочу найти связь между и . Как мне это сделать?x y σ x σ y x ynnnxxxyyyσxσx\sigma_xσyσy\sigma_yxxxyyy РЕДАКТИРОВАТЬ : каждый имеет различные связанные с ним, и то же самое с .σ x , …

12 r  regression  deming-regression 

В настоящее время я учу себя, как делать классификацию, и, в частности, я смотрю на три метода: опорные векторные машины, нейронные сети и логистическая регрессия. Я пытаюсь понять, почему логистическая регрессия будет лучше, чем две другие. Исходя из моего понимания логистической регрессии, идея состоит в том, чтобы подогнать логистическую функцию …

12 regression  machine-learning  logistic  classification  regression-strategies 

Я думал, что понял эту проблему, но теперь я не так уверен, и я хотел бы проверить с другими, прежде чем продолжить. У меня есть две переменные, Xи Y. Yявляется отношением, и оно не ограничено 0 и 1 и обычно нормально распределено. Xявляется пропорцией, и он ограничен 0 и 1 …

12 r  regression  data-transformation  nonlinear-regression  proportion 

Предпосылки и проблемы Я использую Гауссовские процессы (GP) для регрессии и последующей байесовской оптимизации (BO). Для регрессии я использую пакет gpml для MATLAB с несколькими пользовательскими модификациями, но проблема общая. Общеизвестно, что когда два входных тренинга находятся слишком близко к входному пространству, ковариационная матрица может стать неположительной (на этом сайте …

12 regression  covariance-matrix  gaussian-process  bayesian-optimization 

Мне любопытно заявление, сделанное внизу первой страницы в этом тексте относительно настройкиR2adjustedRadjusted2R^2_\mathrm{adjusted} R2adjusted=1−(1−R2)(n−1n−m−1).Radjusted2=1−(1−R2)(n−1n−m−1).R^2_\mathrm{adjusted} =1-(1-R^2)\left({\frac{n-1}{n-m-1}}\right). Текст гласит: Логика корректировки заключается в следующем: в обычной множественной регрессии случайный предиктор объясняет в среднем пропорцию 1/(n–1)1/(n–1)1/(n – 1) вариации ответа, так что mmm случайных предикторов объясняют вместе, в среднем, m/(n–1)m/(n–1)m/(n – 1) вариации ответа; …

12 regression  expected-value  goodness-of-fit  r-squared