Статистика и большие данные

Я немного запутался в предположениях о линейной регрессии. До сих пор я проверял: все объясняющие переменные линейно коррелировали с переменной отклика. (Это было так) была какая-то коллинеарность среди объясняющих переменных. (была небольшая коллинеарность). расстояния Кука точек данных моей модели ниже 1 (в этом случае все расстояния ниже 0,4, поэтому нет …

22 linear-model  residuals  assumptions  normality-assumption 

У меня вопрос по кластерному анализу. Есть 3000 компаний, которые должны быть сгруппированы в соответствии с их потреблением энергии в течение 5 лет. Каждая компания имеет значения для каждого часа в течение 5 лет. Я хотел бы выяснить, имеют ли некоторые компании одинаковую структуру в зависимости от времени использования. Результаты …

22 time-series  clustering  spss 

Были хорошие вопросы об обработке несбалансированных данных в контексте классификации , но мне интересно, что люди делают, чтобы выбрать регрессию. Скажем, проблемный домен очень чувствителен к знаку, но лишь несколько чувствителен к величине цели. Однако величина достаточно важна, чтобы модель представляла собой регрессию (непрерывная цель), а не классификацию (положительные и …

22 regression  sampling  unbalanced-classes 

До сих пор я использовал статистику Шапиро-Уилка, чтобы проверить предположения о нормальности в небольших выборках. Не могли бы вы порекомендовать другую технику?

22 hypothesis-testing  goodness-of-fit  normality-assumption  small-sample 

Я пытался развить интуитивное понимание теоремы Байеса с точки зрения априорной , апостериорной , вероятностной и предельной вероятности. Для этого я использую следующее уравнение: где представляет гипотезу или убеждение, а представляет данные или свидетельство. Я понял концепцию апостериор - это объединяющая сущность, которая сочетает в себе предшествующее убеждение и вероятность …

22 bayesian  likelihood  intuition 

Я работаю с Convolutional Neural Networks (CNNs) в течение некоторого времени, в основном над данными изображений для семантической сегментации / сегментации экземпляров. Я часто представлял softmax выхода сети как «тепловую карту», ​​чтобы увидеть, насколько высоки активации на пиксель для определенного класса. Я интерпретировал низкие активации как «неопределенные» / «неуверенные» и …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Я хочу регрессировать переменную yyy на x,x2,…,x5x,x2,…,x5x,x^2,\ldots,x^5 . Должен ли я сделать это, используя сырые или ортогональные полиномы? Я посмотрел на вопрос на сайте, который касается этих вопросов, но я не совсем понимаю, в чем разница между их использованием. Почему я не могу просто сделать «нормальный» регрессии , чтобы получить …

22 r  regression  polynomial 

Насколько я понимаю, в машинном обучении может возникнуть проблема, если ваш набор данных имеет сильно коррелированные функции, поскольку они эффективно кодируют одну и ту же информацию. Недавно кто-то указал, что когда вы выполняете однократное кодирование для категориальной переменной, вы получаете коррелированные функции, поэтому вы должны отбросить одну из них в …

22 regression  machine-learning  categorical-data  discrete-data  categorical-encoding 

Я понимаю, что анализ главных компонентов (PCA) может применяться в основном для данных поперечного сечения. Можно ли эффективно использовать PCA для данных временных рядов, указав год в качестве переменной временного ряда и нормально запустить PCA? Я обнаружил, что динамический PCA работает для данных панели, а кодирование в Stata предназначено для …

22 time-series  pca 

Какова мотивация введения дополнительного уровня косвенности от описательного «ложноположительного» к целому числу «1»? Является ли «ложное срабатывание» действительно слишком длинным?

21 terminology  frequentist  type-i-and-ii-errors 

Некоторые источники говорят, что функция правдоподобия не является условной вероятностью, некоторые говорят, что это так. Это очень смущает меня. Согласно большинству источников, которые я видел, вероятность распределения с параметром должна быть произведением функции вероятности массы, учитывая выборок :θθ\thetax innnxixix_i L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta) Например, в логистической регрессии мы …

21 probability  bayesian  conditional-probability  likelihood  frequentist 

Я пробовал обычный поиск в Google и т. Д., Но большинство ответов, которые я нахожу, либо несколько неоднозначны, либо специфичны для языка / библиотеки, например Python или C ++ stdlib.hи т. Д. Я ищу независимый от языка математический ответ, а не специфику библиотеки. В качестве примера многие говорят, что начальное …

21 random-generation 

Это было задано на других сайтах SE в контексте операционных систем и линейной алгебры, но тот же вопрос вызывает у меня сомнения относительно методов ядра, используемых в статистике и машинном обучении. Часто говорят, что ядра, например, в оценке плотности ядра или SVM, представляют какое-то сходство, но я не понимаю, откуда …

21 terminology 

Допустим, у меня есть следующие цифры: 4,3,5,6,5,3,4,2,5,4,3,6,5 Я выбираю некоторые из них, скажем, 5 из них, и вычисляю сумму 5 образцов. Затем я повторяю это снова и снова, чтобы получить много сумм, и я отображаю значения сумм в гистограмме, которая будет гауссовой из-за центральной предельной теоремы. Но когда они следуют …

21 central-limit-theorem 

Рассмотрим регрессию гребня с дополнительным ограничением, требующим, чтобы имел единичную сумму квадратов (эквивалентно, единичную дисперсию); при необходимости можно предположить, что имеет единичную сумму квадратов:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Каков предел β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* когда λ→∞λ→∞\lambda\to\infty ? Вот некоторые утверждения, которые я …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression