Статистика и большие данные

У меня есть 2 временных ряда (оба гладких), которые я хотел бы взаимно коррелировать, чтобы увидеть, насколько они коррелированы. Я намерен использовать коэффициент корреляции Пирсона. Это уместно? Мой второй вопрос - я могу выбрать 2 временных ряда так, как мне нравится. т.е. я могу выбрать, сколько точек данных я буду …

47 time-series  correlation  pearson-r  smoothing 

Как интерпретировать нулевое и остаточное отклонение в GLM в R? Мол, мы говорим, что чем меньше AIC, тем лучше. Существует ли аналогичная и быстрая интерпретация отклонений? Нулевое отклонение: 1146,1 на 1077 степеней свободы Остаточное отклонение: 4589,4 на 1099 степеней свободы AIC: 11089

47 generalized-linear-model  deviance 

От StatSoft, Inc. (2013), Электронный учебник статистики , «Наивный байесовский классификатор» : Чтобы продемонстрировать концепцию наивной байесовской классификации, рассмотрим пример, показанный на иллюстрации выше. Как указано, объекты могут быть классифицированы как ЗЕЛЕНЫЙ или КРАСНЫЙ. Моя задача состоит в том, чтобы классифицировать новые случаи по мере их поступления, т. Е. Решать, …

47 machine-learning  naive-bayes 

Представьте, что вы должны составлять отчеты о количестве кандидатов, которые ежегодно сдают данный тест. Кажется довольно сложным сделать вывод о наблюдаемом проценте успеха, например, для более широкой популяции из-за специфики целевой популяции. Таким образом, вы можете считать, что эти данные представляют все население. Действительно ли результаты тестов показывают, что пропорции …

47 hypothesis-testing  population  sampling 

Я уверен, что у меня это полностью обернуто вокруг моей головы, но я просто не могу понять это. T-критерий сравнивает два нормальных распределения, используя Z-распределение. Вот почему в ДАННЫХ есть предположение о нормальности. ANOVA эквивалентен линейной регрессии с фиктивными переменными и использует суммы квадратов, как и OLS. Вот почему существует …

47 distributions  regression  normality-assumption  t-test  anova 

Этот вопрос меня давно озадачил. Я понимаю использование 'log' в максимизации вероятности, поэтому я не спрашиваю о 'log'. Мой вопрос таков: поскольку максимизация логарифмической вероятности эквивалентна минимизации «отрицательной логарифмической вероятности» (NLL), почему мы изобрели эту NLL? Почему бы нам не использовать «положительную вероятность» все время? При каких обстоятельствах предпочтение отдается …

47 maximum-likelihood  likelihood 

Градиентный спуск имеет проблему застревания в локальных минимумах. Нам нужно запустить экспоненциальное время градиентного спуска, чтобы найти глобальные минимумы. Кто-нибудь может рассказать мне о каких-либо альтернативах градиентного спуска, применяемых в обучении нейронных сетей, наряду с их плюсами и минусами.

47 machine-learning  svm  neural-networks 

В последние годы сверточные нейронные сети (CNN) стали современным средством распознавания объектов в компьютерном зрении. Как правило, CNN состоит из нескольких сверточных слоев, за которыми следуют два полностью связанных слоя. Интуиция в этом заключается в том, что сверточные слои изучают лучшее представление входных данных, а полностью связанные слои затем учатся …

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

Я видел, что «остатки» по-разному определяются как «прогнозируемые минус фактические значения» или «фактические минус прогнозируемые значения». В целях иллюстрации, чтобы показать, что обе формулы широко используются, сравните следующие результаты веб-поиска: остаточный «прогнозируемый минус фактический» остаточный "фактический минус прогнозируется" На практике это почти никогда не имеет значения, так как знак невязочных …

46 residuals  terminology  error 

Я просто читал эту статью о байесовском факторе для совершенно не связанной проблемы, когда наткнулся на этот отрывок Тестирование гипотез с байесовскими факторами является более надежным, чем тестирование с использованием частых гипотез, поскольку байесовская форма позволяет избежать смещения при выборе модели, оценивает доказательства в пользу нулевой гипотезы, включает неопределенность модели …

46 hypothesis-testing  frequentist 

В статье «Дискуссия: должны ли экологи стать байесовцами?» Брайан Деннис дает удивительно сбалансированный и позитивный взгляд на байесовскую статистику, когда его цель, похоже, состоит в том, чтобы предупредить людей об этом. Тем не менее, в одном абзаце, без каких-либо ссылок или оправданий, он говорит: Понимаете, байесовцам не разрешено смотреть на …

46 bayesian  residuals  frequentist  likelihood-principle 

Меня интересует природа Σ−1Σ−1\Sigma^{-1} . Кто-нибудь может сказать что-то интуитивное о том, «Что Σ−1Σ−1\Sigma^{-1} говорит о данных?» Редактировать: Спасибо за ответы Пройдя несколько отличных курсов, я бы хотел добавить несколько моментов: Это мера информации, т. Е. xTΣ−1xxTΣ−1xx^T\Sigma^{-1}x это количество информации по направлению xxx . Двойственность: Поскольку положительно определен, как и …

46 bayesian  maximum-likelihood  covariance  matrix 

Я завершил анализ данных и получил «статистически значимые результаты», что соответствует моей гипотезе. Однако студент-статистик сказал мне, что это преждевременный вывод. Почему? Что-нибудь еще нужно было включить в мой отчет?

46 hypothesis-testing  statistical-significance  spss  p-value 

В этой статье под названием «ВЫБОР СРЕДИ ОБОБЩЕННЫХ ЛИНЕЙНЫХ МОДЕЛЕЙ, ПРИМЕНЯЕМЫХ К МЕДИЦИНСКИМ ДАННЫМ» авторы пишут: В обобщенной линейной модели среднее значение преобразуется функцией связи вместо преобразования самого отклика. Два метода преобразования могут привести к совершенно разным результатам; например, среднее значение логарифмически преобразованных ответов не совпадает с логарифмом среднего ответа …

46 generalized-linear-model  model-selection  lognormal 

Может кто-нибудь объяснить, почему нам нужно большое количество деревьев в случайном лесу, когда количество предикторов велико? Как мы можем определить оптимальное количество деревьев?

46 machine-learning  random-forest