Статистика и большие данные

Мне действительно нравится слушать простые объяснения сложных проблем. Какая ваша любимая аналогия или анекдот, объясняющий сложную статистическую концепцию? Мое любимое объяснение Мюррея коинтеграции с использованием пьяницы и ее собаки. Мюррей объясняет, как два случайных процесса (странствующий пьяница и ее собака Оливер) могут иметь единичные корни, но все же быть родственными …

36 teaching  communication 

Очень простая версия центральной ограниченной теоремы, приведенная ниже есть CLT Линдеберга – Леви. Я не понимаю, почему на левой стороне руки есть . А Ляпуновский CLT говорит но почему не \ sqrt {s_n} ? Кто-нибудь скажет мне, что это за факторы, такие как \ sqrt {n} и \ frac {1} …

36 central-limit-theorem  intuition 

Я пытаюсь согласовать многомерную модель линейной регрессии с приблизительно 60 предикторами и 30 наблюдениями, поэтому я использую пакет glmnet для регуляризованной регрессии, потому что p> n. Я просматривал документацию и другие вопросы, но все еще не могу интерпретировать результаты, вот пример кода (с 20 предикторами и 10 наблюдениями для упрощения): …

36 r  regression  regularization  glmnet 

В алгоритме модели темы LDA я видел это предположение. Но я не знаю, почему выбрал дистрибутив Дирихле? Я не знаю, можем ли мы использовать равномерное распределение по многочлену в паре?

36 bayesian  dirichlet-distribution  conjugate-prior 

У меня никогда не было курса по статистике, поэтому я надеюсь, что задаю вопрос здесь. Предположим, у меня есть только две данные, описывающие нормальное распределение: среднее и дисперсия . Я хочу использовать компьютер для случайной выборки из этого дистрибутива, чтобы я уважал эти две статистики.σ 2μμ\muσ2σ2\sigma^2 Совершенно очевидно, что я …

36 normal-distribution  sampling  computing 

Вопрос: Существуют ли экспериментальные данные в поддержку минималистских визуализаций, основанных на данных, в стиле Tufte, по сравнению с визуализированными диаграммой визуализациями, скажем, Найджела Холмса ? Я спросил , как добавить диаграмму-мусор на R участки здесь и ответчики бросили здоровенное количество Снарка на меня. Так что, безусловно, должны быть некоторые экспериментальные …

36 data-visualization 

Я не уверен, как это следует называть, поэтому, пожалуйста, поправьте меня, если вы знаете лучший термин. У меня есть два списка. Один из 55 элементов (например, вектор строк), другой из 92. Имена элементов похожи, но не идентичны. Я хочу , чтобы найти лучший кандидат S в 92 списке элементов в …

36 r  text-mining 

Каковы основные идеи, то есть понятия, связанные с теоремой Байеса ? Я не прошу каких-либо выводов сложных математических обозначений.

36 probability  bayesian  theory 

Инструментальные переменные становятся все более распространенными в прикладной экономике и статистике. Для непосвященных, можем ли мы дать некоторые нетехнические ответы на следующие вопросы: Что такое инструментальная переменная? Когда можно использовать инструментальную переменную? Как найти или выбрать инструментальную переменную?

36 regression  econometrics  instrumental-variables 

Если бы я хотел получить вероятность 9 успехов в 16 испытаниях с вероятностью 0,6 в каждом испытании, я мог бы использовать биномиальное распределение. Что я могу использовать, если каждое из 16 испытаний имеет различную вероятность успеха?

36 distributions  probability  binomial 

Прежде всего, я понял, что если мне нужно выполнить двоичные предсказания, я должен создать как минимум два класса, выполняя горячее кодирование. Это верно? Однако является ли двоичная кросс-энтропия только для предсказаний только с одним классом? Если бы я использовал категориальную кросс-энтропийную потерю, которая обычно встречается в большинстве библиотек (например, TensorFlow), …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Функция стоимости нейронной сети равна J(W,b)J(W,b)J(W,b) , и она называется невыпуклой . Я не совсем понимаю, почему это так, поскольку, как я вижу, это очень похоже на функцию стоимости логистической регрессии, верно? Если оно невыпукло, значит, производная 2-го порядка ∂J∂W&lt;0∂J∂W&lt;0\frac{\partial J}{\partial W} < 0, верно? ОБНОВИТЬ Благодаря ответам ниже, а …

36 neural-networks  loss-functions 

Какова интуиция, лежащая в основе того факта, что SVM с ядром Гаусса имеет бесконечномерное пространство признаков?

36 svm  feature-selection  kernel-trick 

Мне просто интересно, почему проблемы регрессии называют проблемами «регрессии». Какая история стоит за именем? Одно определение регрессии: «Рецидив в менее совершенное или развитое состояние».

36 regression  terminology  history  etymology 

Я видел формулу нормализации min-max, но она нормализует значения между 0 и 1. Как бы я нормализовал мои данные между -1 и 1? В моей матрице данных есть как отрицательные, так и положительные значения.

36 dataset  normalization