Статистика и большие данные

Предположим, у нас есть сценарий множественного сравнения, такой как постфакторный вывод по парной статистике, или, например, множественная регрессия, где мы делаем в общей сложности сравнений. Предположим также, что мы хотели бы поддержать вывод в этих кратных числах, используя доверительные интервалы.ммm 1. Применяем ли мы несколько сравнительных корректировок к КИ? То …

27 confidence-interval  multiple-comparisons  inference 

Может кто-нибудь подскажите пожалуйста разницу между ядрами в SVM: линейный многочлен Гауссовский (RBF) сигмоид Потому что, как мы знаем, ядро ​​используется для отображения нашего входного пространства в пространство пространственных объектов высокой размерности. И в этом пространстве признаков мы находим линейно отделимую границу .. Когда они используются (при каких условиях) и …

27 machine-learning  svm  pattern-recognition  kernel-trick 

Я хотел бы изучить редкие события в конечной популяции. Поскольку я не уверен, какая стратегия лучше всего подходит, я был бы признателен за советы и рекомендации, связанные с этим вопросом, хотя я хорошо понимаю, что он в значительной степени освещен. Я просто не знаю, с чего начать. Моя проблема - …

27 logistic  rare-events 

Если и являются двумя независимыми случайными единичными векторами в (равномерно распределенными по единичной сфере), каково распределение их скалярного произведения (точечного произведения) ?xx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Я думаю, что по мере роста распределение быстро (?) Становится нормальным с нулевым средним и уменьшением дисперсии в более высоких измерениях но существует ли …

27 mathematical-statistics  linear-algebra  beta-distribution 

В алгоритме «Случайный лес» Брейман (автор) строит матрицу подобия следующим образом: Посылайте все учебные примеры по каждому дереву в лесу Если два примера попадают в один и тот же лист, увеличивайте соответствующий элемент в матрице подобия на 1 Нормализовать матрицу количеством деревьев Он говорит: Близость между случаями n и k …

27 random-forest  distance  similarities  euclidean 

После моего вопроса здесь , мне интересно , если есть сильные мнения за или против использования стандартного отклонения для выявления выбросов (например , любой Datapoint , что более чем 2 стандартное отклонение является останец). Я знаю, что это зависит от контекста исследования, например, точка данных, 48 кг, безусловно, будет выделяться …

27 outliers 

K-кратная перекрестная проверка может использоваться для оценки возможности обобщения данного классификатора. Могу ли я (или я должен) также вычислить объединенную дисперсию из всех проверочных прогонов, чтобы получить лучшую оценку ее дисперсии? Если нет, то почему? Я нашел документы, в которых действительно используется объединенное стандартное отклонение при выполнении перекрестной проверки . …

27 machine-learning  cross-validation 

Я запускаю GEE на 3-уровневых несбалансированных данных, используя ссылку logit. Как это отличается (с точки зрения выводов, которые я могу сделать, и значения коэффициентов) от GLM со смешанными эффектами (GLMM) и логит-связью? Более подробно: наблюдения представляют собой одиночные испытания Бернулли. Они сгруппированы в классы и школы. Используя R. Casewise, опущение …

27 logistic  mixed-model  generalized-linear-model  interpretation  gee 

Обычным этапом предварительной обработки алгоритмов машинного обучения является отбеливание данных. Кажется, что всегда полезно делать отбеливание, так как оно не коррелирует данные, что упрощает их моделирование. Когда отбеливание не рекомендуется? Примечание: я имею в виду декорреляцию данных.

27 data-transformation 

Я узнал, что должен проверять нормальность не на необработанных данных, а на их остатках. Должен ли я рассчитать невязки, а затем пройти тест Шапиро – Вилка? Рассчитываются остатки как: ?Xi−meanXi−meanX_i - \text{mean} Пожалуйста, посмотрите этот предыдущий вопрос для моих данных и дизайна.

27 normality-assumption  residuals  assumptions 

Интересно, есть ли простой способ создать список переменных, используя цикл for, и указать его значение? for(i in 1:3) { noquote(paste("a",i,sep=""))=i } В приведенной выше коде, я пытаюсь создать a1, a2, a3, задающие значения 1, 2, 3. Однако, R выдает сообщение об ошибке. Спасибо за вашу помощь.

27 r 

Есть ли 99 процентилей или 100 процентилей? Являются ли они группами чисел, или разделительными линиями, или указателями на отдельные числа? Я полагаю, что тот же вопрос будет применяться для квартилей или любого квантиля. Я читал, что индекс числа в конкретном процентиле (р), учитывая n пунктов, i = (p / 100) …

27 quantiles 

Предположим, я хочу сделать бинарную классификацию (что-то принадлежит классу A или классу B). Есть несколько возможностей сделать это в выходном слое нейронной сети: Используйте 1 выходной узел. Выход 0 (<0.5) считается классом A, а 1 (> = 0.5) считается классом B (в случае сигмовидной кишки) Используйте 2 выходных узла. Входные …

27 machine-learning  classification  neural-networks 

Я удивлен, что об этом раньше не спрашивали, но я не могу найти вопрос на stats.stackexchange. Это формула для расчета дисперсии нормально распределенной выборки: ∑ ( X- Х¯)2n - 1Σ(Икс-Икс¯)2N-1\frac{\sum(X - \bar{X}) ^2}{n-1} Это формула для расчета среднеквадратичной ошибки наблюдений в простой линейной регрессии: Σ ( уя- у^я)2н -2Σ(Yя-Y^я)2N-2\frac{\sum(y_i - …

27 variance  error 

Может кто-нибудь сказать мне, как судить, модель контролируемого машинного обучения переоснащение или нет? Если у меня нет внешнего набора данных проверки, я хочу знать, могу ли я использовать ROC с 10-кратной перекрестной проверкой, чтобы объяснить переобучение. Если у меня есть внешний набор данных проверки, что мне делать дальше?

27 machine-learning