Статистика и большие данные

Читая ответы на эту тему , я начал задумываться о том, как проверка гипотез относится к научному методу . Хотя у меня есть хорошее понимание того и другого, мне трудно понять точную связь между ними. На высоком уровне научный метод сводится к: Сделать гипотезы и гипотезы (теория) Делайте прогнозы из …

11 hypothesis-testing  inference 

Может кто-нибудь объяснить мне, когда использовать примеси Джини и информацию для деревьев решений? Можете ли вы дать мне ситуации / примеры того, когда лучше всего использовать какие?

11 machine-learning  classification  data-mining  cart 

Я смотрел на эту страницу о реализации Монте-Карло теста Лиллефорса. Я не понимаю это предложение: В этом расчете из моделирования есть случайная ошибка. Однако из-за хитрости добавления 1 к числителю и знаменателю при вычислении значения P его можно использовать прямо, без учета случайности. Что они подразумевают под хитростью добавления 1 …

11 monte-carlo  lilliefors 

Предположим, у меня есть мерный набор данных, где измерений примерно ортогональны (имеют нулевую корреляцию).NNNNNNN Есть ли какая-либо полезность с точки зрения: Визуализация Представление (для эффективности классификатора) Или другие критерии выполнить уменьшение размерности данных?

11 pca  dimensionality-reduction 

В Элементах Статистического Изучения введена проблема, чтобы выделить проблемы с k-nn в многомерных пространствах. Есть точек данных, которые равномерно распределены в мерном единичном шаре.NNNpпp Среднее расстояние от начала координат до ближайшей точки данных определяется выражением: d(p,N)=(1−(12)1N)1pd(п,N)знак равно(1-(12)1N)1пd(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p} Когда , формула разбивается на половину радиуса шара, и я могу …

11 self-study  proof  k-nearest-neighbour 

Я на самом деле стесняюсь спросить об этом, потому что боюсь, что меня будут перенаправлять на другие вопросы или на Википедию о выборке Гиббса, но у меня нет ощущения, что они описывают то, что под рукой. При заданной условной вероятности : p(x|y)p(x|y)p(x|y)p(x|y)x=x0x=x1y=y01434y=y12646p(x|y)y=y0y=y1x=x01426x=x13446 \begin{array}{c|c|c} p(x|y) & y = y_0 & y …

11 sampling  mcmc  gibbs 

Я смотрел опрос WashingtonTimes / ABC, и разбивка результатов, особенно по возрасту, показалась мне неожиданной. Поэтому я пошел искать предвзятость. В нем говорится: «Опрос проводился по телефону 11-14 декабря 2014 года среди случайной выборки из 1000 взрослых. Интервью проводились на английском и испанском языках по стационарным и мобильным телефонам». Опрос …

11 polling  politics 

Когда я читаю книгу Вассермана «Вся статистика», я замечаю тонкую тонкость в определении p-значений, которую я не могу понять. Неформально Вассерманн определяет значение p как [..] вероятность (ниже H0H0H_0 ) наблюдения значения тестовой статистики такая же или более экстремальная, чем на самом деле наблюдалось. Акцент добавлен. То же самое более …

11 hypothesis-testing  chi-squared  p-value 

Я создал гистограмму для возраста респондента и сумел получить очень хороший колоколообразный изгиб, из которого я пришел к выводу, что распределение нормальное. Затем я выполнил тест нормальности в SPSS, с n = 169. Значение p (Sig.) Теста Колмогорова-Смирнова меньше 0,05, и поэтому данные нарушили предположение о нормальности. Почему тест показывает, …

11 normality-assumption  kolmogorov-smirnov  histogram  eda 

У меня есть два набора данных: Мой первый набор данных - это стоимость инвестиций (в миллиардах долларов) в зависимости от времени, каждая единица времени составляет один квартал с первого квартала 1947 года. Время распространяется на третий квартал 2002 года. Мой второй набор данных является «результатом преобразования значений инвестиций в [первый …

11 r  self-study  data-visualization  autocorrelation 

Исследования событий широко распространены в экономике и финансах для определения влияния события на цену акций, но они почти всегда основаны на частых рассуждениях. Регрессия OLS - в течение отчетного периода, отличного от окна событий, - обычно используется для определения параметров, необходимых для моделирования нормальной доходности актива. Затем определяется статистическая значимость …

11 bayesian  econometrics  finance 

Я пытаюсь выполнить следующее упражнение, но на самом деле понятия не имею, как начать это делать. Я нашел код в своей книге, который выглядит так, но это совершенно другое упражнение, и я не знаю, как связать их друг с другом. Как я могу начать имитировать прибытие и как узнать, когда …

11 r  monte-carlo  queueing 

Я полагаю, что контроль переменной в вашем проекте исследования более эффективен для уменьшения ошибки, чем контроль за ней в вашей регрессионной модели. Не возражает ли кто-нибудь формально объяснить, как эти два случая «контроля» различаются? Насколько они сравнительно эффективны для уменьшения ошибок и получения более точных прогнозов?

11 regression  experiment-design  controlling-for-a-variable 

Я пытаюсь автоматизировать обнаружение выбросов во временных рядах, и я использовал модификацию решения, предложенного здесь Робом Хиндманом . Скажем, я измеряю ежедневные посещения сайта из разных стран. В некоторых странах, где ежедневные посещения составляют несколько сотен или тысяч, мой метод, кажется, работает разумно. Однако в тех случаях, когда страна ведет …

11 time-series  outliers  computational-statistics 

Я разрабатываю приложение для прогнозирования, цель которого - позволить импортеру прогнозировать спрос на свою продукцию от своей сети дистрибьюторов. Данные о продажах являются довольно хорошим показателем спроса, если имеется достаточный запас для удовлетворения спроса. Однако, когда инвентарь сокращается до нуля (ситуация, которую мы ищем, чтобы помочь нашим покупателям избежать), мы …

11 r  regression  machine-learning  censoring