Статистика и большие данные

Мне нужно классифицировать URL-адреса по категориям. Скажем, у меня есть 15 категорий, к которым я планирую обнулить каждый URL. Классификатор с 15 путями лучше? Где у меня есть 15 меток и генерировать функции для каждой точки данных. Или построить 15 бинарных классификаторов, скажем: Movie или Non-Movie, и использовать числа, которые …

18 machine-learning  classification  categorical-data  svm  feature-selection 

Давайте иметь некоторую линейную модель, например, просто ANOVA: # data generation set.seed(1.234) Ng <- c(41, 37, 42) data <- rnorm(sum(Ng), mean = rep(c(-1, 0, 1), Ng), sd = 1) fact <- as.factor(rep(LETTERS[1:3], Ng)) m1 = lm(data ~ 0 + fact) summary(m1) Результат таков: Call: lm(formula = data ~ 0 + …

18 r  regression  confidence-interval 

Это очень простой вопрос, но я не могу найти вывод ни в Интернете, ни в книге. Я хотел бы увидеть, как один байесовский обновляет многомерное нормальное распределение. Например: представьте, что P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra 

На основании нескольких статей, книг и статей, которые я прочитал, у меня сложилось впечатление, что рекомендуемый способ подбора распределения вероятностей для набора данных - использование оценки максимального правдоподобия (MLE). Тем не менее, как физик, более интуитивный способ состоит в том, чтобы просто подогнать PDF модели к эмпирическому PDF данных, используя …

18 distributions  maximum-likelihood  least-squares  heteroscedasticity  fitting 

Может кто-нибудь объяснить мне преимущества и недостатки классификации SVM, которая отличает ее от других классификаторов?

18 machine-learning  svm 

После недавнего отрицательного голосования я пытался проверить свое понимание теста Пирсона Чи в квадрате. Я обычно использую статистику хи-квадрат (или уменьшенную статистику хи-квадрат) для подгонки или проверки результирующей подгонки. В этом случае дисперсия обычно представляет собой не ожидаемое количество отсчетов в таблице или гистограмме, а некоторую экспериментально определенную дисперсию. В …

18 chi-squared  histogram 

У меня есть следующая функция вероятности: Проб = 11 + е- зПробзнак равно11+е-Z\text{Prob} = \frac{1}{1 + e^{-z}} где Z= B0+ B1Икс1+ ⋯ + BNИксN,Zзнак равноВ0+В1Икс1+⋯+ВNИксN,z = B_0 + B_1X_1 + \dots + B_nX_n. Моя модель выглядит Pr ( Y= 1 ) = 11 + опыт( - [ - 3,92 + …

18 probability  logistic  logit 

Я знаю, что SVM - это двоичный классификатор. Я хотел бы расширить его до мультикласса SVM. Какой самый лучший и, возможно, самый простой способ это сделать? код: в MATLAB u=unique(TrainLabel); N=length(u); if(N>2) itr=1; classes=0; while((classes~=1)&&(itr<=length(u))) c1=(TrainLabel==u(itr)); newClass=double(c1); tst = double((TestLabel == itr)); model = svmtrain(newClass, TrainVec, '-c 1 -g 0.00154'); …

18 machine-learning  matlab  svm  multi-class 

Я страдаю от затемнения. Мне представили следующую картину, чтобы продемонстрировать компромисс смещения дисперсии в контексте линейной регрессии: Я вижу, что ни одна из двух моделей не подходит - «простая» не оценивает сложность отношения XY, а «сложная» просто переобучается, в основном, выучивая данные обучения наизусть. Однако я совершенно не вижу смещения …

18 regression  variance  bias 

Во время эксперимента по классификации текста я обнаружил, что классификатор гребней генерирует результаты, которые постоянно превосходят тесты среди тех классификаторов, которые чаще упоминаются и применяются для задач интеллектуального анализа текста, таких как SVM, NB, kNN и т. Д. Хотя я не разработал по оптимизации каждого классификатора для этой конкретной задачи …

18 machine-learning  classification  text-mining  ridge-regression 

Рассмотрим случайное целочисленное блуждание, начинающееся с 0, со следующими условиями: Первый шаг - плюс или минус 1 с равной вероятностью. Каждый следующий шаг: 60% вероятности будут в том же направлении, что и предыдущий шаг, 40% вероятности будут в противоположном направлении Какого рода распределение это дает? Я знаю, что случайное блуждание …

18 stochastic-processes  randomness  random-walk 

У меня есть два вопроса о доверительных интервалах: По-видимому, узкий доверительный интервал подразумевает, что вероятность получения наблюдения в этом интервале меньше, поэтому наша точность выше. Также 95% доверительный интервал уже, чем 99% доверительный интервал, который шире. 99% доверительный интервал является более точным, чем 95%. Может ли кто-нибудь дать простое объяснение, …

18 confidence-interval 

В тестировании , какова основа для использования квадратного корня из ожидаемых значений как стандартных отклонений (то есть ожидаемых значений как дисперсий) каждого из нормальных распределений? Единственное, что я мог найти, обсуждая это вообще, это http://www.physics.csbsju.edu/stats/chi-square.html , и в нем просто упоминаются распределения Пуассона.χ2χ2\chi^2 В качестве простой иллюстрации моей путаницы: что …

18 hypothesis-testing  chi-squared 

Skellam Распределение описывает разницу между двумя переменными , которые имеют распределение Пуассона. Существует ли подобное распределение, которое описывает разницу между переменными, которые следуют отрицательным биномиальным распределениям? Мои данные получены с помощью процесса Пуассона, но содержат значительное количество шума, что приводит к чрезмерному рассредоточению в распределении. Таким образом, моделирование данных с …

18 distributions  modeling  poisson-distribution  negative-binomial  skellam 

Я надеюсь, что кто-то может помочь исправить ситуацию для меня. Скажем, я хочу проверить, существенно ли отличаются два набора коэффициентов регрессии друг от друга, с помощью следующей настройки: yi=α+βxi+ϵiyi=α+βxi+ϵiy_i = \alpha + \beta x_i + \epsilon_i , с 5 независимыми переменными. 2 группы, с примерно равными размерами n1,n2n1,n2n_1, n_2 (хотя …

18 regression  hypothesis-testing  multiple-regression