Статистика и большие данные

Я полностью слепой и пришел из программирования. Я пытаюсь научиться машинному обучению, и для этого мне сначала нужно узнать о линейной регрессии. Все объяснения в Интернете, которые я нахожу об этом предмете, наносят данные в первую очередь. Я ищу практическое объяснение линейной регрессии, которая не зависит от графиков и графиков. …

47 regression  intuition 

Это вопрос в целом, не относящийся к какому-либо методу или набору данных. Как мы решаем проблему дисбаланса классов в обучении с использованием контролируемой машины, где число 0 составляет около 90%, а число 1 составляет около 10% в вашем наборе данных. Как оптимально обучить классификатор. Одним из способов, которым я следую, …

47 machine-learning  unbalanced-classes  supervised-learning 

На стр. 34 из его PRNN Брайан Рипли комментирует, что «АИК был назван Акаике (1974) как« Информационный критерий », хотя, как представляется, принято считать, что А означает Акаике». Действительно, при введении статистики AIC Akaike (1974, с.719) объясняет, что "IC stands for information criterion and A is added so that similar …

47 forecasting  model-selection  aic  bic 

Помимо соображений вычислительной мощности, есть ли основания полагать, что увеличение количества сгибов при перекрестной проверке приводит к лучшему выбору / проверке модели (т. Е. Чем больше сгибов, тем лучше)? Если доводить аргумент до крайности, обязательно ли перекрестная проверка по принципу « один-за-один» обязательно приведет к лучшим моделям, чем перекрестная проверка …

47 cross-validation  bias-variance-tradeoff 

Я прочитал достаточно потоков на QQplots здесь, чтобы понять, что QQplot может быть более информативным, чем другие тесты нормальности. Тем не менее, я неопытен в интерпретации QQplots. Я много гуглил; Я нашел много графиков ненормальных QQplots, но нет четких правил, как их интерпретировать, кроме того, что кажется сравнением с известными …

47 interpretation  normality-assumption  qq-plot 

Моя проблема : я недавно встретил статистика, который сообщил мне, что сплайны полезны только для исследования данных и подвержены переобучению, таким образом, бесполезны при прогнозировании. Он предпочел исследовать с помощью простых полиномов ... Так как я большой поклонник сплайнов, и это противоречит моей интуиции, мне интересно узнать, насколько верны эти …

47 regression  splines 

Сегодня я натолкнулся на новую тему под названием «Математическое ожидание». В книге, за которой я следую, говорится, что ожидание - это среднее арифметическое случайной величины, получаемой из любого распределения вероятностей. Но он определяет ожидание как сумму произведений некоторых данных и вероятности этого. Как эти два (среднее и ожидание) могут быть …

47 expected-value 

Если у меня есть набор данных, который создает график, подобный следующему, как бы я алгоритмически определил значения x показанных пиков (в данном случае три из них):

47 data-visualization  mode 

Я пытаюсь набрать скорость в байесовской статистике. У меня есть немного истории статистики (STAT 101), но не слишком много - я думаю, что могу понять предшествующую, заднюю и вероятность: D. Я пока не хочу читать байесовский учебник. Я предпочел бы читать из источника (веб-сайт), который быстро нарастит меня. Что - …

47 bayesian  references 

Я подгоняю биномиальное семейство glm в R, и у меня есть целая группа объясняющих переменных, и мне нужно найти лучшее (R-квадрат в качестве меры - это хорошо). Если не считать сценария для циклического перебора различных комбинаций объясняющих переменных и последующей записи, которая дает наилучшие результаты, я действительно не знаю, что …

47 r  logistic 

Мы, статистики, используем много слов способами, которые немного отличаются от того, как их используют все остальные. Это вызывает много проблем, когда мы учим или объясняем, что делаем. Я начну список (и теперь я добавлю некоторые определения, по комментариям): Сила - это способность правильно отвергнуть ложную нулевую гипотезу. Обычно это означает …

47 terminology  communication 

Я планирую начать писать R пакетов. Я подумал, что было бы хорошо изучить исходный код существующих пакетов, чтобы изучить правила построения пакетов. Мои критерии для хороших пакетов для изучения: Простые статистические / технические идеи : цель состоит в том, чтобы узнать о механике конструкции упаковки. Понимание пакета не должно требовать …

47 r 

У меня есть данные о продажах для ряда торговых точек, и я хочу классифицировать их в зависимости от формы их кривых с течением времени. Данные выглядят примерно так (но, очевидно, не случайны и содержат некоторые пропущенные данные): n.quarters <- 100 n.stores <- 20 if (exists("test.data")){ rm(test.data) } for (i in …

47 r  time-series  clustering 

Кажется, что, когда предположение об однородности дисперсии встречается, результаты скорректированного по Уэлчу t-критерия и стандартного t-критерия примерно одинаковы. Почему бы просто не всегда использовать отрегулированный Welch t?

47 variance  t-test  heteroscedasticity 

Мое нынешнее понимание понятия «доверительный интервал с уровнем доверия » является то , что если бы мы попытались вычислить доверительный интервал много раз (каждый раз с новым образцом), он будет содержать правильный параметр из время.1 - α1 - α1−α1 - \alpha1 - α1−α1 - \alpha Хотя я понимаю, что это …

47 confidence-interval