Статистика и большие данные

Мне было интересно, почему так важно иметь принципиальное / теоретическое машинное обучение? С личной точки зрения, как человек, я могу понять, почему принципиальное машинное обучение было бы важно: людям нравится понимать, что они делают, мы находим красоту и удовлетворение от понимания. с теоретической точки зрения математика это весело когда есть …

25 machine-learning  neural-networks  conv-neural-network  theory 

Предположим, что модель имеет 100% точность данных тренировки, но 70% точность данных теста. Правдив ли следующий аргумент в отношении этой модели? Очевидно, что это переоборудованная модель. Точность испытания может быть повышена за счет уменьшения переоснащения. Но эта модель все еще может быть полезной моделью, поскольку она имеет приемлемую точность для …

25 model  accuracy  overfitting 

Мне интересно, если какой-либо алгоритм может сделать классификацию и регрессию одновременно. Например, я бы хотел, чтобы алгоритм изучал классификатор, и в то же время внутри каждой метки он также изучал непрерывную цель. Таким образом, для каждого примера обучения он имеет категориальную метку и непрерывное значение. Я мог бы сначала подготовить …

25 regression  machine-learning  classification  predictive-models  finite-mixture-model 

Рассмотрим модель препятствий, прогнозирующую данные подсчета yот обычного предиктора x: set.seed(1839) # simulate poisson with many zeros x <- rnorm(100) e <- rnorm(100) y <- rpois(100, exp(-1.5 + x + e)) # how many zeroes? table(y == 0) FALSE TRUE 31 69 В этом случае у меня есть данные счета …

25 r  count-data  zero-inflation 

Я хочу использовать глубокое обучение в своем проекте. Я просмотрел пару статей, и у меня возник вопрос: есть ли разница между нейронной сеткой свертки и глубоким обучением? Являются ли эти вещи одинаковыми или имеют какие-то существенные различия, и что лучше?

25 machine-learning  neural-networks  deep-learning  terminology  conv-neural-network 

Люди часто говорят, что какое-то событие имеет шанс 50-60%. Иногда я даже вижу, как люди дают явные полосы ошибок при назначении вероятностей. Имеют ли эти утверждения какое-либо значение или они представляют собой просто лингвистическую причину дискомфорта, выбирая конкретное число для чего-то, что по своей природе непостижимо?

25 probability  error 

Приведенная ниже блок-цитата от лидеров в области моделирования смешанных эффектов утверждает, что координаты сдвигов в моделях с нулевой корреляцией между случайными эффектами (модели «ZCP») изменяют предсказания модели. Но кто-то может уточнить или обосновать свои требования? Заявления о которых идет речь в Бейтс и др в 2015 документ о lme4, Монтаж …

25 r  mixed-model  lme4-nlme 

Я стал чем-то вроде нигилистов, когда дело доходит до переменных уровней ранжирования (в контексте многомерных моделей всех видов). Часто в ходе моей работы меня просят либо помочь другой команде составить рейтинг с переменной степенью важности, либо создать рейтинг с переменной степенью важности из моей собственной работы. В ответ на эти …

25 multiple-regression  multivariate-analysis  importance 

Я делаю некоторый численный эксперимент, который состоит в выборке логнормального распределения X~ LN( μ,σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma) и попытке оценить моменты E [ XN]Е[ИксN]\mathbb{E}[X^n] двумя методами: Глядя на выборку среднего значения ИксNИксNX^n Оценивая μμ\mu и σ2σ2\sigma^2 , используя выборочные средние для журнал( X) , журнал2( X)журнал⁡(Икс),журнал2⁡(Икс)\log(X), \log^2(X) , а затем используя тот …

25 estimation  bias  lognormal  moments 

Читая CV на все времена, я натолкнулся на утверждение, которое хотел бы уточнить. Это пост, и мой вопрос относится к заключительным замечаниям: «Я должен отметить, что все знания, которые я только что передал, несколько устарели; теперь, когда у нас есть компьютеры, мы можем делать лучше, чем t-тесты. Как отмечает Фрэнк, …

25 hypothesis-testing  t-test  permutation-test  wilcoxon-mann-whitney 

В книге Джейнса «Теория вероятностей: логика науки» у Джейнса есть глава (гл. 18), озаглавленная «Распределение и правило наследования», в которой он вводит идею распределений , которую этот отрывок помогает проиллюстрировать:AпApA_pAпApA_p [...] Чтобы увидеть это, представьте эффект получения новой информации. Предположим, мы бросили монету пять раз, и она каждый раз поднимается. …

25 probability  bayesian  beta-distribution 

В последнее время я работал с большими наборами данных и нашел много статей о потоковых методах. Назвать несколько: Follow-the-Regularized-Leader и зеркальный спуск: теоремы об эквивалентности и регуляризация L1 ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Потоковое обучение: однопроходные SVM ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: первичный оцененный суб-GrAdient SOlver для SVM http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf или здесь: может ли …

25 machine-learning  references  large-data  online 

В настоящее время я пытаюсь найти подходящую модель для сложных данных подсчета (зависимая переменная). Я пробовал различные модели (модели смешанных эффектов необходимы для моего вида данных), такие как lmerи lme4(с лог-преобразованием), а также обобщенные линейные модели смешанных эффектов с различными семействами, такими как гауссовский или отрицательный бином. Тем не менее, …

25 generalized-linear-model  residuals  negative-binomial  count-data  glmm 

Оценка максимального правдоподобия часто приводит к смещенным оценкам (например, ее оценка для выборочной дисперсии смещена для распределения Гаусса). Что же делает его таким популярным? Почему именно так много? Кроме того, что именно делает его лучше, чем альтернативный подход - метод моментов? Кроме того, я заметил, что для Гаусса простое масштабирование …

25 normal-distribution  maximum-likelihood  method-of-moments 

Я прочитал статью, в которой говорится, что при использовании запланированных контрастов для поиска средств, которые отличаются однонаправленным ANOVA, контрасты должны быть ортогональными, чтобы они были некоррелированными и не допускали раздувания ошибки I типа. Я не понимаю, почему ортогональность будет означать некоррелированные при любых обстоятельствах. Я не могу найти визуальное / …

25 correlation  independence