Статистика и большие данные

Я очень плохо знаком с байесовской статистикой, и это может быть глупым вопросом. тем не менее: Рассмотрим вероятный интервал с априором, который определяет равномерное распределение. Например, от 0 до 1, где от 0 до 1 представляет полный диапазон возможных значений эффекта. В этом случае будет ли доверительный интервал 95% равным …

31 bayesian  confidence-interval  estimation  prior  credible-interval 

У меня есть четырехслойный CNN для прогнозирования ответа на рак с использованием данных МРТ. Я использую активацию ReLU для введения нелинейностей. Точность и потеря поезда монотонно увеличиваются и уменьшаются соответственно. Но точность моего теста начинает сильно колебаться. Я попытался изменить скорость обучения, уменьшить количество слоев. Но это не останавливает колебания. …

31 machine-learning  python  deep-learning 

Недавно я натолкнулся на статью, в которой предлагается использовать классификатор k-NN для конкретного набора данных. Авторы использовали все доступные образцы данных, чтобы выполнить перекрестную проверку в k-кратном размере для различных значений k и сообщить результаты перекрестной проверки наилучшей конфигурации гиперпараметра. Насколько мне известно, этот результат является предвзятым, и они должны …

31 cross-validation  references  model-selection  model-evaluation 

Я пытался научиться машинному обучению, используя материал Coursera . В этой лекции Эндрю Нг использует алгоритм градиентного спуска, чтобы найти коэффициенты модели линейной регрессии, которая минимизирует функцию ошибки (функцию стоимости). Для линейной регрессии нужен ли градиентный спуск? Кажется, я могу аналитически дифференцировать функцию ошибки и установить ее на ноль, чтобы …

31 regression  machine-learning  linear-model  gradient-descent 

Я видел другую ветку здесь, но я не думаю, что ответ удовлетворил фактический вопрос. Я постоянно читал, что Наивный Байес - это линейный классификатор (например, здесь ) (такой, что он рисует линейную границу решения), использующий демонстрацию логических шансов. Однако я смоделировал два гауссовых облака и установил границу решения и получил …

31 classification  naive-bayes 

О том, существует ли термин ошибки в логистической регрессии (и его предполагаемом распределении), я читал в разных местах, что: Термин ошибки не существует термин ошибки имеет биномиальное распределение (в соответствии с распределением переменной ответа) термин ошибки имеет логистическое распределение Может кто-нибудь уточнить, пожалуйста?

31 logistic  binomial  bernoulli-distribution  logistic-distribution 

В примечаниях MIT OpenCourseWare к 18.05 «Введение в вероятность и статистику», весна 2014 г. (в настоящее время доступно здесь ), говорится: Метод процентиля начальной загрузки привлекателен своей простотой. Однако это зависит от начального распределения основанного на том, что конкретный образец является хорошим приближением к истинному распределению . Райс говорит о …

31 confidence-interval  bootstrap 

Я хотел бы определить относительную важность наборов переменных для randomForestмодели классификации в R. importanceФункция предоставляет MeanDecreaseGiniметрику для каждого отдельного предиктора - это так же просто, как суммировать это для каждого предиктора в наборе? Например: # Assumes df has variables a1, a2, b1, b2, and outcome rf <- randomForest(outcome ~ ., …

31 r  machine-learning  classification  random-forest 

Глядя на определения Википедии: Средняя квадратическая ошибка (MSE) Остаточная сумма квадратов (RSS) Мне кажется, что MSE = 1NRSS = 1N∑ ( фя- уя)2MSE=1NRSS=1N∑(fi−yi)2\text{MSE} = \frac{1}{N} \text{RSS} = \frac{1}{N} \sum (f_i -y_i)^2 где - это количество выборок, а - наша оценка .NNNеяfif_iYяyiy_i Тем не менее, ни одна из статей Википедии не …

31 residuals  mse 

Часто утверждается, что начальная загрузка может дать оценку смещения в оценщике. Если т является оценкой для некоторой статистики, и ~ т я являюсь бутстраповскими репликами (с I ∈ { 1 , ⋯ , N } ), то оценкой смещения начальной загрузки является б я ы т ≈ -t^t^\hat tt~it~i\tilde t_ii∈{1,⋯,N}i∈{1,⋯,N}i\in\{1,\cdots,N\}biast≈1N∑it~i−t^biast≈1N∑it~i−t^\begin{equation} …

31 bootstrap  bias 

Закрыто. Этот вопрос не по теме . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыт 10 месяцев назад . Я использую инструмент libsvm ( http://www.csie.ntu.edu.tw/~cjlin/libsvm/ ) для классификации вспомогательных векторов. Однако меня смущает формат входных данных. Из README: Формат …

31 machine-learning  svm  python  libsvm  c++ 

Можно ли рассчитать значения AIC или BIC для моделей лассо-регрессии и других регуляризованных моделей, где параметры только частично входят в уравнение. Как определить степени свободы? Я использую R для подбора моделей регрессии Лассо с помощью glmnet()функции из glmnetпакета, и я хотел бы знать, как рассчитать значения AIC и BIC для …

31 r  model-selection  lasso  aic  bic 

Обобщенными аддитивными моделями являются те, где Y= α + f1( х1) + f2( х2) + еяy=α+f1(x1)+f2(x2)+ei y = \alpha + f_1(x_1) + f_2(x_2) + e_i например. функции гладкие и должны быть оценены. Обычно по штрафным сплайнам. MGCV - это пакет в R, который делает это, и автор (Саймон Вуд) пишет …

31 r  nonparametric  interaction  splines  intuition 

Допустим, у меня есть 1000 компонентов, и я собираю данные о том, сколько раз они регистрируют сбой, и каждый раз, когда они регистрируют сбой, я также отслеживаю, сколько времени понадобилось моей команде, чтобы устранить проблему. Короче говоря, я записывал время ремонта (в секундах) для каждого из этих 1000 компонентов. Данные …

31 distributions  data-visualization  survival  reliability  distribution-identification 

Это похоже на похожий вопрос и не получил много ответов. Пропуская такие тесты, как D Кука, и просто рассматривая остатки как группу, мне интересно, как другие используют остатки при оценке пригодности. Я использую сырые остатки: в QQ-сюжете, для оценки нормальности на диаграмме рассеяния сравнению с остатками для проверки глазного яблока …

31 goodness-of-fit  residuals