Статистика и большие данные

У меня есть детектор, который обнаружит событие с некоторой вероятностью р . Если детектор сообщает, что событие произошло, то это всегда так, поэтому ложных срабатываний нет. Через некоторое время я получаю k обнаруженных событий. Я хотел бы подсчитать, каково было общее количество событий, которые произошли, обнаружены или нет, с некоторой …

9 probability  confidence-interval 

У меня есть модель линейной регрессии с выборочными и переменными наблюдениями, и я хочу знать: Является ли конкретная переменная достаточно значимой, чтобы оставаться включенной в модель. Должна ли другая переменная (с наблюдениями) быть включена в модель. Какая статистика может мне помочь? Как получить их наиболее эффективно?

9 regression 

Предоставил размер выборки «N», который я планирую использовать для прогнозирования данных. Каковы некоторые из способов подразделить данные так, чтобы я использовал некоторые из них для установления модели, а остальные данные для проверки модели? Я знаю, что нет черно-белого ответа на этот вопрос, но было бы интересно узнать некоторые «практические правила» …

9 machine-learning  modeling  sample  validation 

У меня возникают трудности с выбором правильного способа визуализации данных. Допустим, у нас есть книжные магазины , в которых продаются книги , и у каждой книги есть хотя бы одна категория . Для книжного магазина, если мы посчитаем все категории книг, мы получим гистограмму, которая показывает количество книг, которые попадают …

9 pca  data-visualization  histogram  barplot 

В ответе на этот вопрос о трактовке категориальных данных как непрерывного оптимального масштабирования было упомянуто. Как работает этот метод и как он применяется?

9 categorical-data  data-transformation  optimal-scaling 

Проще говоря, у меня есть около миллиона записей, которые записывают время входа и выхода людей в системе, охватывающей около десяти лет. У каждой записи есть время входа, но не у каждой записи есть время выхода. Среднее время в системе составляет ~ 1 год. Отсутствующие времена выхода происходят по двум причинам: …

9 survival  missing-data 

В чем разница между исследованием операций и статистическим анализом?

9 operations-research 

Я слышал, что многие количества, которые встречаются в природе, обычно распределяются. Обычно это оправдано с использованием центральной предельной теоремы, которая гласит, что при усреднении большого числа случайных величин iid вы получаете нормальное распределение. Так, например, признак, который определяется аддитивным эффектом большого числа генов, может быть приблизительно нормально распределен, поскольку значения …

9 data-transformation  normality-assumption 

Как вы знаете, существует два популярных типа перекрестной проверки: K-кратная и случайная субсэмплинг (как описано в Википедии ). Тем не менее, я знаю, что некоторые исследователи делают и публикуют статьи, где нечто, описываемое как K-кратное резюме, действительно является случайным субсэмплингом, поэтому на практике вы никогда не узнаете, что на самом …

9 machine-learning  cross-validation 

Как бы вы объяснили визуализацию данных и почему это важно для неспециалистов?

9 data-visualization  intuition 

Я знаю о микроэконометрике Кэмерона и Триведи с использованием Stata. Какие еще хорошие тексты для изучения Stata?

9 references  stata 

Какие библиотеки визуализации (графики, графики, ...) вы бы предложили использовать в автономном приложении (Linux, .Net, Windows и т. Д.). Разумная производительность была бы хорошей.

9 data-visualization  software 

Это не домашнее задание. Пусть - случайная величина. Если и , следует ли из этого, что ?ИксXXE [X] = k ∈ RE[X]=k∈R\mathbb{E}[X] = k \in \mathbb{R}Вар [ Х] = 0Var[X]=0\text{Var}[X] = 0Pr ( X= к ) = 1Pr(X=k)=1\Pr\left(X = k\right) = 1 Интуитивно это кажется очевидным, но я не уверен, …

9 probability 

Я вполне уверен, что понимаю, как работает интеграция Монте-Карло, но я не понимаю формулировку того, как она используется для оценки числа Пи. Я иду по процедуре, описанной в 5-м слайде этой презентации http://homepages.inf.ed.ac.uk/imurray2/teaching/09mlss/slides.pdf Я понимаю предварительные шаги. Пи в 4 раза больше площади четверти единицы круга. А площадь верхней правой …

9 monte-carlo  indicator-function 

Я хочу провести анализ настроений над текстом, прочитал несколько статей, некоторые из них используют «Наивный байесовский», а другие - «Рекуррентную нейронную сеть (LSTM)» , с другой стороны, я видел библиотеку python для анализа настроений, которая это нлтк. Он использует "Наивный байесовский", может кто-нибудь объяснить, в чем разница между этими двумя? …

8 machine-learning  neural-networks  python  natural-language