Статистика и большие данные

Если мы хотим провести парный t-тест, необходимо (если я правильно понимаю), что средняя разница между согласованными единицами измерения будет распределена нормально. В парном t-тесте это сформулировано (AFAIK) в требовании, чтобы разница между подобранными единицами измерения была распределена нормально (даже если распределение каждой из двух сравниваемых групп не является нормальным). Однако …

12 t-test  normality-assumption  assumptions 

Как правило, когда встречаются непрерывные, но искаженные показатели результата в продольном дизайне (скажем, с одним эффектом между субъектами), общий подход заключается в преобразовании результата в нормальность. Если ситуация экстремальная, например, с усеченными наблюдениями, можно подумать и использовать модель кривой роста Тобита или что-то подобное. Но я в недоумении, когда вижу …

12 repeated-measures  data-transformation  skewness 

Есть ли аналог чебышевского неравенства с более высоким моментом в одностороннем случае? Неравенство Чебышева-Кантелли, похоже, работает только для дисперсии, в то время как неравенство Чебышева может быть легко получено для всех показателей. Кто-нибудь знает одностороннее неравенство, использующее высшие моменты?

12 approximation  moments  probability-inequalities 

Если Hosmer-Lemeshow указывает на отсутствие соответствия, но AIC является самым низким среди всех моделей .... следует ли вам использовать модель? Если я удаляю переменную, статистика Хосмера-Лемешоу не будет значимой (это означает, что нет полного отсутствия соответствия). Но АПК увеличивается. Изменить : Я думаю, в общем, если AIC разных моделей близки …

12 regression  logistic  hosmer-lemeshow-test 

Например. такие как те на этой странице http://store.steampowered.com/hwsurvey Есть ли готовое программное обеспечение, которое может сделать это? В качестве альтернативы, какие-либо рекомендации для другого программного обеспечения, которое делает что-то подобное? Я знаю, что это на самом деле не вопрос статистики, но я твердо убежден, что данные должны быть представлены аккуратно …

12 data-visualization  interactive-visualization 

Я пытаюсь понять, как алгоритм Ларса может быть изменен для генерации лассо. Хотя я понимаю LARS, я не могу видеть модификацию Лассо из статьи Tibshirani et al. В частности, я не понимаю, почему условие знака в том, что знак ненулевой координаты должен совпадать со знаком текущей корреляции. Может кто-нибудь, пожалуйста, …

12 lasso 

Мне интересно узнать о практической реализации бинарного разбиения в дереве решений - поскольку оно относится к уровням категориального предиктора .XjXjX{j} В частности, я часто буду использовать какую-то схему выборки (например, пакетирование, передискретизация и т. Д.) При построении прогнозной модели с использованием дерева решений - чтобы улучшить ее прогнозную точность и …

12 cart  rpart  partitioning 

Итак, вы решили поддержать идею воспроизводимых исследований и хотите, чтобы ваши данные были доступны в Интернете для просмотра и использования людьми. Вопрос в том, где вы его размещаете? Моим первым стремлением, конечно, является частное веб-пространство, которое у меня есть на университетском сервере, но на самом деле эти вещи не так …

12 reproducible-research 

Я пытаюсь построить SVM из данных обучения, где одна группа представлена ​​больше, чем другая. Тем не менее, группы будут в равной степени представлены в возможных данных испытаний. Поэтому я хотел бы использовать class.weightsпараметр e1071интерфейса пакета R, libsvmчтобы сбалансировать влияние двух групп в данных обучения. Поскольку я не был уверен, как …

12 r  machine-learning  svm 

Как мне аппроксимировать следующий интеграл с помощью симуляции MC? ∫1−1∫1−1|x−y|dxdy∫−11∫−11|x−y|dxdy \int_{-1}^{1} \int_{-1}^{1} |x-y| \,\mathrm{d}x \,\mathrm{d}y Благодарность! Редактировать (в некотором контексте): я пытаюсь научиться использовать симуляцию для аппроксимации интегралов, и я получаю некоторую практику, когда сталкиваюсь с некоторыми трудностями. Правка 2 + 3 : Каким-то образом я запутался и подумал, что …

12 r  self-study  monte-carlo 

Я хочу смоделировать некоторые данные, но я не уверен, какой тип модели я могу использовать. У меня есть данные подсчета, и я хочу модель, которая даст параметрические оценки как среднего значения, так и дисперсии данных. То есть у меня есть различные прогностические факторы, и я хочу определить, влияет ли какой-либо …

12 variance  modeling  count-data  overdispersion  gamlss 

Этот вопрос иллюстрирует сложность того, что человек самостоятельно осваивает статистику и вероятность, перед лицом слабо развитых ресурсов, таких как Википедия. Мне пришло в голову, что консалтинговые статистики, а их здесь несколько, могут постоянно сталкиваться с проблемой объяснения определенных концепций и методов клиенту. Это обратная сторона педагогической монеты. Когда кто-то освоил …

12 teaching  references 

Я подозреваю, что большинство пользователей статистических инструментов являются вспомогательными пользователями (люди, которые практически не имели формального обучения статистике). Для исследователей и других специалистов очень заманчиво применять статистические методы к своим данным просто потому, что они видели, как они «делали это раньше» в рецензируемых статьях, серой литературе, в Интернете или на …

12 dataset  methodology 

Я должен уменьшить количество переменных, чтобы провести кластерный анализ. Мои переменные сильно коррелированы, поэтому я подумал о проведении анализа факторов риска PCA (анализ основных компонентов). Однако, если я использую полученные результаты, мои кластеры не совсем корректны (по сравнению с предыдущими классификациями в литературе). Вопрос: Могу ли я использовать матрицу вращения …

12 clustering  pca  feature-selection  factor-analysis 

Locked . Этот вопрос и его ответы заблокированы, потому что вопрос не по теме, но имеет историческое значение. В настоящее время он не принимает новые ответы или взаимодействия. У меня есть набор данных ascii, который состоит из трех столбцов, но только последние два являются фактическими данными. Теперь я хочу создать …

12 r