Статистика и большие данные

Я прочитал, что группа Лассо используется для выбора переменных и разреженности в группе переменных. Я хочу знать интуицию, стоящую за этим утверждением. Почему группа лассо предпочтительнее лассо? Почему путь решения группы Лассо не является кусочно-линейным?

13 regression  feature-selection  lasso  regularization 

Это может быть простое объяснение (я надеюсь, в любом случае). Я сделал некоторый регрессионный анализ в Matlab, используя набор инструментов регрессии. Тем не менее, я наткнулся на исследование, в котором говорится: «Используя регрессионный анализ, можно было установить прогностическую модель, используя только четыре звуковые характеристики, которые объясняют 60% дисперсии» Ссылка на …

13 variance 

Я слышал (извините, не могу предоставить ссылку на текст, что мне сказали), что высокий положительный эксцесс остатков может быть проблематичным для точных проверок гипотез и доверительных интервалов (и, следовательно, проблем со статистическим выводом). Это правда, и если да, то почему? Не будет ли высокий положительный эксцесс остатков не указывать на …

13 statistical-significance  p-value  assumptions  kurtosis 

В комментариях после этого моего ответа на связанный вопрос пользователи ssdecontrol и Glen_b спросили, необходима ли совместная нормальность XXX и YYY для утверждения нормальности суммы X+YX+YX+Y ? Эта совместная нормальность достаточна , конечно, хорошо известна. Этот дополнительный вопрос там не рассматривался, и, возможно, его стоит рассмотреть отдельно. Поскольку совместная нормальность …

13 probability  normal-distribution  distributions  bivariate  multivariate-normal 

Я использовал функцию h2o.glm () в R, которая дает таблицу сопряженности в результате вместе с другой статистикой. Таблица сопряженности называется « Перекрестная таблица на основе оптимального порога F1 » Википедия определяет F1 балл или F балл как среднее гармоническое значение точности и отзыва. Но Precision и Recall не обнаруживаются только …

13 threshold 

Я гуглил и искал по stats.stackexchange, но не могу найти формулу для расчета 95% доверительного интервала для значения для линейной регрессии. Кто-нибудь может это предоставить?р2R2R^2 Еще лучше, скажем, я выполнил линейную регрессию ниже в R. Как бы я вычислил 95% доверительный интервал для значения используя код R.р2R2R^2 lm_mtcars <- lm(mpg …

13 r  regression  confidence-interval  inference  r-squared 

Я только что рассказал об искусственных нейронных сетях на курсе машинного обучения Coursera, и я хотел бы узнать больше теории за ними. Я нахожу мотивацию, что они подражают биологии, несколько неудовлетворительно. На первый взгляд кажется, что на каждом уровне мы заменяем ковариаты линейной комбинацией их. Делая это многократно, мы учитываем …

13 machine-learning  neural-networks  theory 

Мы использовали для создания кривой GINI, используя лифт, созданный с помощью процента хороших и плохих для моделирования системы показателей. Но то, что я изучил, это то, что кривая ROC создается с использованием матрицы путаницы со спецификой (1- истинный отрицательный) в качестве оси x и чувствительностью (истинный положительный) в качестве оси …

13 roc  gini 

Я пересматриваю статью о опылении, где данные распределены биномиально (плод созревает или нет). Поэтому я использовал glmerодин случайный эффект (отдельное растение) и один фиксированный эффект (обработка). Рецензент хочет знать, повлияло ли растение на плодоношение, но у меня проблемы с интерпретацией glmerрезультатов. Я читал в Интернете, и, кажется, могут быть проблемы …

13 r  generalized-linear-model  variance  lme4-nlme  ecology 

Функция lm в R может выводить оценочную ковариацию коэффициентов регрессии. Что эта информация дает нам? Можем ли мы теперь лучше интерпретировать модель или диагностировать проблемы, которые могут присутствовать в модели?

13 r  multiple-regression  least-squares 

Для иерархической кластеризации я часто вижу следующие две «метрики» (они точно не говорят) для измерения расстояния между двумя случайными переменными XXX и YYY : \newcommand{\Cor}{\mathrm{Cor}} d1(X,Y)d2(X,Y)=1−|Cor(X,Y)|,=1−(Cor(X,Y))2d1(X,Y)=1−|Cor(X,Y)|,d2(X,Y)=1−(Cor(X,Y))2\begin{align} d_1(X,Y) &= 1-|\Cor(X,Y)|, \\ d_2(X,Y) &= 1-(\Cor(X,Y))^2 \end{align} ли либо выполнить неравенство треугольника? Если так, то как мне доказать это, кроме как просто делать …

13 correlation  clustering  distance  metric 

Я знаю, что среднее значение суммы независимых переменных является суммой средних значений каждой независимой переменной. Это относится и к зависимым переменным?

13 mean  non-independent 

Я воспроизводлю результаты с нуля в разделе 4.2.1 Предельная вероятность из вывода Гиббса Сиддхартха Чиб Журнал Американской Статистической Ассоциации, Vol. 90, No. 432. (Dec., 1995), pp. 1313-1321. Это смесь модели нормалей с известным числом компонентов. f ( x ∣ w , μ , σ 2 ) = n ∏ i …

13 bayesian  mixture  gibbs 

Я хотел бы извлечь наклоны для каждого человека в модели смешанного эффекта, как обрисовано в общих чертах в следующем параграфе Модели смешанных эффектов использовались для характеристики отдельных путей изменения показателей когнитивной сводки, включая термины для возраста, пола и года обучения в качестве фиксированных эффектов (Laird and Ware, 1982; Wilson et …

13 r  mixed-model 

При моделировании временных рядов можно (1) смоделировать корреляционную структуру слагаемых ошибок, например, процесс AR (1) (2) включает в себя переменную с запаздыванием в качестве объясняющей переменной (справа) Я понимаю, что их иногда есть веские причины для (2). Однако, каковы методологические причины, чтобы сделать (1) или (2) или даже оба?

13 time-series  autocorrelation  residuals  lags