Статистика и большие данные

В последнее время я был очень смущен, когда дал ответ на вопрос о минимальной дисперсии несмещенных оценок для параметров равномерного распределения, что было совершенно неверным. К счастью, меня сразу же поправили кардинал и Генри, и Генри дал правильные ответы для ОП . Это заставило меня задуматься. Я изучил теорию лучших …

18 estimation  point-estimation 

Я профессионально использую SAS около 5 лет. Он установлен на моем ноутбуке, и мне часто приходится анализировать наборы данных с 1000-2000 переменных и сотнями тысяч наблюдений. Я искал альтернативы SAS, которые позволили бы мне проводить анализ наборов данных аналогичного размера. Мне любопытно, что другие люди используют для таких ситуаций, как …

18 r  sas  large-data 

Недавно я столкнулся с многомерным масштабированием. Я пытаюсь лучше понять этот инструмент и его роль в современной статистике. Итак, вот несколько руководящих вопросов: На какие вопросы он отвечает? Какие исследователи часто заинтересованы в его использовании? Существуют ли другие статистические методы, которые выполняют аналогичные функции? Какая теория развивается вокруг этого? Какое …

18 multidimensional-scaling 

Я работаю над открытым приложением для обследования здоровья, которое планируется использовать в развивающихся странах. Основная идея заключается в том, что собеседования проводятся краудсорсингом - они проводятся неорганизованными добровольцами, которые отправляют формы данных собеседований, которые они проводили, используя свои мобильные устройства, и каждое обследование сопровождается GPS-данными места проведения опроса. Традиционные обследования, …

18 sampling 

Какое значение приведено в сводке модели Кокша в R? Например,R2R2R^2 Rsquare= 0.186 (max possible= 0.991 ) Я по глупости включил его в рукопись в качестве значения и рецензент вскочил на него, сказав, что он не знал об аналоге статистики из классической линейной регрессии, разрабатываемой для модели Кокса, и, если она …

18 r  survival  r-squared  cox-model 

Просто чтобы уточнить, когда я имею в виду сводную статистику, я имею в виду среднее значение, диапазоны среднего квартиля, дисперсию, стандартное отклонение. Имеет ли смысл найти среднее значение, медиану, квартильный диапазон, дисперсию и стандартное отклонение при суммировании одномерного, категориального или качественного , с учетом как номинального, так и ординального случаев? …

18 categorical-data  descriptive-statistics 

У меня есть некоторая негауссовская распределенная переменная, и мне нужно проверить, есть ли существенные различия между значениями этой переменной в 5 разных группах. Я выполнил односторонний дисперсионный анализ Крускала-Уоллиса (который оказался значительным), и после этого мне пришлось проверить, какие группы значительно различались. Поскольку группы отсортированы (значения переменной в первой группе …

18 hypothesis-testing  post-hoc  wilcoxon-mann-whitney  kruskal-wallis  dunn-test 

Я не знаю, только ли это я, но я очень скептически отношусь к статистике в целом. Я могу понять это в играх в кости, в покер и т. Д. Очень маленькие, простые, в основном автономные повторяющиеся игры - это хорошо. Например, приземление монеты на своем краю достаточно мало, чтобы принять …

18 probability  expected-value  philosophical 

Я узнал, что сумма экспоненциальных случайных величин следует за гамма-распределением. Но везде, где я читаю, параметризация отличается. Например, Wiki описывает отношения, но не говорит, что на самом деле означают их параметры? Форма, масштаб, скорость, 1 / скорость? Экспоненциальное распределение: ~xxxexp(λ)exp(λ)exp(\lambda) f(x|λ)=λe−λxf(x|λ)=λe−λxf(x|\lambda )=\lambda {{e}^{-\lambda x}} E[x]=1/λE[x]=1/λE[x]=1/ \lambda var(x)=1/λ2var(x)=1/λ2var(x)=1/{{\lambda}^2} Распределение гаммы:Γ(shape=α,scale=β)Γ(shape=α,scale=β)\Gamma(\text{shape}=\alpha, \text{scale}=\beta) …

18 distributions  probability  gamma-distribution 

Похоже, что эксперты по визуализации данных обычно не одобряют калибровочные диаграммы (см. Здесь: что вы называете диаграммой, которая выглядит как половина круговой диаграммы со стрелкой, указывающей процент? ). Основная причина заключается в том, что на калибровочной диаграмме низкое отношение данных к чернилам. С тех пор, как я познакомился с этими …

18 data-visualization 

В настоящее время этот вопрос не очень подходит для нашего формата вопросов и ответов. Мы ожидаем, что ответы будут подтверждены фактами, ссылками или опытом, но этот вопрос, скорее всего, вызовет дебаты, споры, опрос или расширенное обсуждение. Если вы считаете, что этот вопрос можно улучшить и, возможно, вновь открыть, обратитесь за …

18 machine-learning  text-mining  natural-language 

Я выступал с R ANOVA, и я получил значительные различия. Однако, проверяя, какие пары значительно отличались, используя процедуру Тьюки, я не получил ни одну из них. Как это может быть возможным? Вот код: fit5_snow<- lm(Response ~ Stimulus, data=audio_snow) anova(fit5_snow) > anova(fit5_snow) Analysis of Variance Table Response: Response Df Sum Sq …

18 anova  post-hoc  tukey-hsd 

Есть слова из «Элементы статистического обучения» на странице 91: K-центроиды в p-мерном входном пространстве охватывают самое большее K-1-мерное подпространство, и если p намного больше K, это приведет к значительному уменьшению размера. У меня есть два вопроса: Почему K-центроиды в p-мерном входном пространстве охватывают самое большее K-1-мерное подпространство? Как расположены центроиды …

18 machine-learning  discriminant-analysis 

Я запутался в том, как рассчитать растерянность несдерживаемой пробы при выполнении скрытого распределения дирихле (LDA). Бумаги на эту тему очень легки, заставляя меня думать, что я упускаю что-то очевидное ... Недоумение считается хорошим показателем производительности для LDA. Идея состоит в том, что вы сохраняете выборку несогласных, обучаете свой LDA остальным …

18 text-mining  topic-models 

Два связанных вопроса от меня. У меня есть фрейм данных, который содержит количество пациентов в одном столбце (от 10 до 17 пациентов) и 0 и 1, показывающие, произошел ли инцидент в тот день. Я использую биномиальную модель, чтобы регрессировать вероятность инцидента на количество пациентов. Тем не менее, я хотел бы …

18 binomial  generalized-linear-model  offset