Статистика и большие данные

Может ли кто-нибудь объяснить мне, почему кто-то выбрал бы параметрический непараметрический статистический метод для проверки гипотез или регрессионного анализа? На мой взгляд, это все равно, что заняться рафтингом и выбрать не водостойкие часы, потому что вы можете их не намочить. Почему бы не использовать инструмент, который работает в каждом случае?

60 regression  hypothesis-testing  mathematical-statistics  estimation  nonparametric 

Я произвел обобщенные аддитивные модели для обезлесения. Чтобы учесть пространственную автокорреляцию, я включил широту и долготу в качестве сглаженного члена взаимодействия (т.е. s (x, y)). Я основал это на чтении многих работ, где авторы говорят, что «для учета пространственной автокорреляции координаты точек были включены как сглаженные термины», но они никогда …

60 r  modeling  spatial  autocorrelation  gam 

Мне было интересно, почему именно сбор данных, пока не будет получен значительный результат (например, ) (т. Е. P-хакерство), увеличивает частоту ошибок типа I?p<.05p<.05p \lt .05 Я также был бы очень признателен за Rдемонстрацию этого явления.

60 r  hypothesis-testing  p-value  simulation  type-i-and-ii-errors 

В других контекстах ортогональный означает «под прямым углом» или «перпендикулярно». Что означает ортогональность в статистическом контексте? Спасибо за любые разъяснения.

60 descriptive-statistics 

Предположим, у нас есть кто-то, строящий прогностическую модель, но он не обязательно хорошо разбирается в надлежащих статистических или машинных принципах обучения. Может быть, мы помогаем этому человеку, когда он учится, или, возможно, этот человек использует какой-то пакет программного обеспечения, который требует минимальных знаний для использования. Теперь этот человек вполне может …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Из того, что я знаю, использование лассо для выбора переменных решает проблему коррелированных входных данных. Кроме того, поскольку он эквивалентен регрессии наименьшего угла, он не медленный в вычислительном отношении. Тем не менее, многие люди (например, те, кого я знаю, занимаюсь био-статистикой), все еще предпочитают пошаговый или поэтапный выбор переменных. Есть …

60 regression  feature-selection  lasso 

Какой способ (способы?) Можно визуально объяснить, что такое ANOVA? Любые ссылки, ссылки (ы) (R пакеты?) Будут приветствоваться.

60 data-visualization  anova  teaching 

Я вижу, что один из двадцати общих тестов, которые они выполняют, , поэтому они ошибочно полагают, что во время одного из двадцати тестов результат значительный ( ).0,05 = 1 / 20p&lt;0.05p&lt;0.05p < 0.050.05=1/200.05=1/200.05 = 1/20 комикс желейных бобов xkcd - "Значительный" Название: Значительное Текст при наведении курсора: «Итак, мы снова …

60 hypothesis-testing  statistical-significance  confidence-interval  p-value  humor 

Меня смущает отбеливание ZCA и нормальное отбеливание (которое получается путем деления главных компонентов на квадратные корни собственных значений PCA). Насколько мне известно, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, где - собственные векторы PCA.UU\mathbf U Каковы виды использования ZCA отбеливания? Каковы различия между нормальным отбеливанием и отбеливанием ZCA?

60 pca  dimensionality-reduction  image-processing 

Градиентный спуск и многие другие методы полезны для нахождения локальных минимумов в функциях стоимости. Они могут быть эффективными, когда функцию стоимости можно быстро оценить в каждой точке, численно или аналитически. У меня есть то, что мне кажется необычной ситуацией. Каждая оценка моей функции стоимости дорогая. Я пытаюсь найти набор параметров, …

59 gradient-descent  optimization  bayesian-optimization 

Я понимаю, что оценка регрессии гребня является ββ\beta который минимизирует остаточную сумму квадрата и штраф на размер ββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Однако я не до конца понимаю значение того факта, что βridgeβridge\beta_\text{ridge} отличается от βOLSβOLS\beta_\text{OLS} только добавлением небольшой константы к диагонали …

59 regression  least-squares  ridge-regression  shrinkage 

Основным ограничением проверки значимости нулевой гипотезы является то, что она не позволяет исследователю собирать доказательства в пользу нулевой ( Источник ) Я вижу, что это утверждение повторяется в нескольких местах, но я не могу найти оправдания для этого. Если мы проводим большое исследование , и мы не находим статистически значимые …

59 hypothesis-testing 

Мир статистики был разделен между частыми лицами и байесовцами. В наши дни кажется, что все делают немного и того, и другого. Как это может быть? Если разные подходы подходят для разных задач, почему отцы-основатели статистики не видели этого? В качестве альтернативы, дебаты были выиграны частыми лицами и истинные субъективные байесовцы …

59 bayesian  frequentist  history  philosophical 

Мне не нравится информация Фишера, что она измеряет и чем она полезна. Кроме того, для меня не очевидны отношения с Крамером-Рао. Может ли кто-нибудь дать интуитивное объяснение этих понятий?

59 estimation  intuition  fisher-information 

Что имеется в виду, когда мы говорим, что у нас насыщенная модель?

59 modeling  regression