Вопросы с тегом «linear-model»

Я полагаю, что чем больше коэффициент для переменной, тем больше у модели способности «качаться» в этом измерении, обеспечивая повышенную возможность подгонки к шуму. Хотя я думаю, что у меня есть разумное представление о связи между дисперсией в модели и большими коэффициентами, у меня нет такого хорошего представления о том, почему …

33 regression  variance  linear-model  bias  regularization 

Я хотел бы регрессировать вектор B против каждого из столбцов в матрице A. Это тривиально, если нет пропущенных данных, но если матрица A содержит пропущенные значения, тогда моя регрессия против A ограничена включением только тех строк, где все значения присутствуют ( поведение na.omit по умолчанию ). Это приводит к неправильным …

32 r  missing-data  linear-model 

Я пытался научиться машинному обучению, используя материал Coursera . В этой лекции Эндрю Нг использует алгоритм градиентного спуска, чтобы найти коэффициенты модели линейной регрессии, которая минимизирует функцию ошибки (функцию стоимости). Для линейной регрессии нужен ли градиентный спуск? Кажется, я могу аналитически дифференцировать функцию ошибки и установить ее на ноль, чтобы …

31 regression  machine-learning  linear-model  gradient-descent 

В случае простой линейной регрессии вы можете получить оценку наименьших квадратов , что вам не нужно знать чтобы оценитьβ 1 = Σ ( х я - ˉ х ) ( у я - ˉ у )y=β0+β1xy=β0+β1xy=\beta_0+\beta_1xβ 0 β 1β^1=∑(xi−x¯)(yi−y¯)∑(xi−x¯)2β^1=∑(xi−x¯)(yi−y¯)∑(xi−x¯)2\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}β^0β^0\hat\beta_0β^1β^1\hat\beta_1 Предположим, у меня есть , как мне получить …

30 regression  multiple-regression  generalized-linear-model  linear-model 

Я объясню мою проблему на примере. Предположим, вы хотите предсказать доход человека с учетом некоторых атрибутов: {Возраст, Пол, Страна, Регион, Город}. У вас есть тренировочный набор данных, как так train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Задний план Предположим, у нас есть модель Обыкновенных наименьших квадратов, в которой у нас есть коэффициентов в нашей регрессионной модели, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} где - вектор коэффициентов, - матрица проектирования, определяемая какββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots …

29 regression  linear-model  least-squares  t-distribution 

Когда я использую GAM, он дает мне остаточный DF, (последняя строка в коде). Что это значит? Выходя за рамки примера GAM, в общем, может ли число степеней свободы быть нецелым числом?26,626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

У меня есть корреляционная матрица возвращений безопасности, чей определитель равен нулю. (Это немного удивительно, поскольку выборочная корреляционная матрица и соответствующая ковариационная матрица теоретически должны быть положительно определенными.) Моя гипотеза состоит в том, что по крайней мере одна ценная бумага линейно зависит от других ценных бумаг. Есть ли в R функция, …

26 r  correlation  pca  linear-model  svd 

Это мой первый пост, поэтому, пожалуйста, будьте спокойны, если я не соблюдаю некоторые стандарты! Я искал свой вопрос, и ничего не пришло. Мой вопрос касается в основном практических различий между общим линейным моделированием (GLM) и обобщенным линейным моделированием (GZLM). В моем случае это будет несколько непрерывных переменных в качестве ковариат …

25 modeling  linear-model 

Различное программное обеспечение реализации доступно для лассо . Я знаю, что много обсуждали байесовский подход против частого подхода на разных форумах. Мой вопрос очень специфичен для лассо - каковы различия или преимущества ласио Байса против обычного лассо ? Вот два примера реализации в пакете: # just example data set.seed(1233) X …

24 r  machine-learning  linear-model  lasso 

В качестве приквела к вопросу о линейно-смешанных моделях в R и для использования в качестве справочного материала для любителей статистики начального и среднего уровня, я решил опубликовать в качестве независимого «Q & A-style» шаги, связанные с «ручным» вычислением Коэффициенты и прогнозные значения простой линейной регрессии. В качестве примера используется встроенный …

22 r  regression  linear-model  lm 

Я хотел бы соответствовать линейной модели (лм), где дисперсия остатков явно зависит от объясняющей переменной. Я знаю, как это сделать, используя glm с семейством Gamma для моделирования дисперсии, а затем поместив ее обратно в веса в функции lm (пример: http://nitro.biosci.arizona.edu/r/chapter31 .pdf ) Я размышлял: Это единственная техника? Какие еще подходы …

22 r  generalized-linear-model  linear-model  heteroscedasticity  gamlss 

(ОБНОВЛЕНИЕ: я углубился в это и разместил результаты здесь ) Список названных статистических тестов огромен. Многие из общих тестов основаны на выводе из простых линейных моделей, например, t-критерий с одной выборкой - это просто y = β + ε, который проверяется на нулевой модели, y = μ + ε, т. …

22 regression  correlation  anova  t-test  linear-model 

Я немного запутался в предположениях о линейной регрессии. До сих пор я проверял: все объясняющие переменные линейно коррелировали с переменной отклика. (Это было так) была какая-то коллинеарность среди объясняющих переменных. (была небольшая коллинеарность). расстояния Кука точек данных моей модели ниже 1 (в этом случае все расстояния ниже 0,4, поэтому нет …

22 linear-model  residuals  assumptions  normality-assumption 

Locked . Этот вопрос и его ответы заблокированы, потому что вопрос не по теме, но имеет историческое значение. В настоящее время он не принимает новые ответы или взаимодействия. Я создал линейную модель в R: mod = lm(train_y ~ train_x). Я хочу передать ему список X и получить его предсказанный / …

21 r  forecasting  linear-model