Статистика и большие данные

Примечание: Я нахожусь в курсе философских различий между Байесом и частотной статистикой. Например, «какова вероятность того, что монета на столе - это головы» не имеет смысла в статистике частых случаев, поскольку у нее уже есть приземленные головы или хвосты - в этом нет ничего вероятностного. Таким образом, вопрос не имеет …

54 bayesian  frequentist 

Я новичок в выборе функций, и мне было интересно, как вы будете использовать PCA для выбора функций. Вычисляет ли PCA относительную оценку для каждой входной переменной, которую можно использовать для фильтрации неинформативных входных переменных? По сути, я хочу иметь возможность упорядочивать исходные элементы данных по отклонениям или количеству содержащейся информации.

54 r  pca  feature-selection 

Или тем более "будет"? Большие данные делают статистику и релевантные знания еще более важными, но, похоже, не соответствуют теории выборки. Я видел эту шумиху вокруг «Больших данных» и не могу не задаться вопросом, «почему», я бы хотел все проанализировать ? Разве не было причины, по которой «Теория выборки» была разработана …

54 sampling  data-mining  large-data 

Мы находим центры кластеров и присваиваем точки k различным блокам кластеров в кластеризации k-средних, которая является очень хорошо известным алгоритмом и встречается почти в каждом пакете машинного обучения в сети. Но пропущенная и самая важная часть, на мой взгляд, это выбор правильного k. Какова лучшая ценность для этого? И что …

54 clustering  k-means 

Я часто слышу, что специальные тесты после ANOVA можно использовать только в том случае, если сам ANOVA был значительным. Тем не менее, после специальных испытаний корректируют чтобы поддерживать общий уровень ошибок типа I на уровне 5%, не так ли?ppp Итак, зачем нам сначала нужен глобальный тест? Если нам не нужен …

54 anova  statistical-significance  post-hoc 

Я немного работал в R и сталкивался с такими вещами, как PCA, SVD, QR-разложения и многими такими результатами линейной алгебры (при проверке оценки взвешенных регрессий и т. Д.), Поэтому я хотел знать, есть ли у кого-нибудь рекомендации относительно хорошего всеобъемлющая книга по линейной алгебре, которая не слишком теоретическая, но математически …

54 references  matrix  linear-algebra  weighted-regression 

Что такое оценка стандартного отклонения стандартного отклонения, если можно предположить нормальность данных?

54 estimation  standard-deviation  normality-assumption 

Что такое хорошее введение в статистику для математика, который уже хорошо разбирается в вероятности? У меня есть две разные причины для того, чтобы спрашивать, что может привести к различным предложениям: Я хотел бы лучше понять мотивацию статистики, стоящую за многими проблемами, рассмотренными вероятностниками. Я хотел бы знать, как лучше интерпретировать …

54 references 

Ранее я спрашивал об этом в StackOverflow, но кажется, что это может быть более уместным, учитывая, что он не получил никаких ответов по SO. Это своего рода на пересечении статистики и программирования. Мне нужно написать код для PCA (Анализ основных компонентов). Я просмотрел известные алгоритмы и реализовал этот , который, …

54 pca  algorithms  model-evaluation  high-dimensional 

Предположим, что вы - исследователь в области социальных наук / эконометрик и пытаетесь найти соответствующие предикторы спроса на услугу. У вас есть 2 итоговые / зависимые переменные, описывающие спрос (используя сервис да / нет и количество случаев). У вас есть 10 предикторов / независимых переменных, которые теоретически могут объяснить спрос …

54 regression  multivariate-analysis  predictive-models  multiple-regression  multiple-comparisons 

Вопрос ранее искал рекомендации для учебников по математической статистике Кто-нибудь знает какие-нибудь хорошие онлайн видео лекции по математической статистике ? Самые близкие, которые я нашел: Машинное обучение эконометрия ОБНОВЛЕНИЕ: Ряд предложений, упомянутых ниже, являются хорошими статистическими видео типа 101. Однако мне особенно интересно, есть ли какие-либо видео, которые обеспечивают строгое …

54 mathematical-statistics  references 

Похоже, что в некоторых случаях можно получить результаты, аналогичные нейронной сети с многомерной линейной регрессией, а многомерная линейная регрессия супер быстрая и простая. При каких обстоятельствах нейронные сети могут давать лучшие результаты, чем многомерная линейная регрессия?

54 regression  multiple-regression  neural-networks 

Я много читал о PCA, включая различные учебники и вопросы (такие как этот , этот , этот и этот ). Геометрическая проблема, которую пытается оптимизировать PCA, мне ясна: PCA пытается найти первый главный компонент, сводя к минимуму ошибку реконструкции (проекции), которая одновременно максимизирует дисперсию проецируемых данных. Когда я впервые прочитал …

54 pca  optimization  linear-algebra  intuition 

Мне кажется, что проверка не нужна. То есть разделение исходного набора данных на две части (обучение и тестирование) и использование результатов тестирования в качестве обобщающей меры несколько бесполезны. K-кратная перекрестная проверка, кажется, дает лучшие приближения к обобщению (поскольку она обучает и проверяет каждую точку). Итак, почему мы должны использовать стандартную …

54 machine-learning  cross-validation  validation 

Я прочитал из своего учебника, что не гарантирует, что X и Y независимы. Но если они независимы, их ковариация должна быть 0. Я пока не мог придумать ни одного правильного примера; кто-то может предоставить один?cov(X,Y)=0cov(X,Y)=0\text{cov}(X,Y)=0

54 independence  covariance