Статистика и большие данные

У меня есть data.frame с 800 obs. 40 переменных, и хотел бы использовать Принцип компонентного анализ, чтобы улучшить результаты моего предсказания (который до сих пор является лучшим с работой опорных векторов на некоторых 15 подобранных переменных). Я понимаю, что prcomp может помочь мне улучшить мои прогнозы, но я не знаю, …

25 r  pca 

Я изучаю различные методы, используемые в кластеризации документов, и я хотел бы прояснить некоторые сомнения, касающиеся PCA (анализ главных компонентов) и LSA (скрытый семантический анализ). Первое - какие различия между ними? Я знаю, что в PCA декомпозиция SVD применяется к матрице терминов-ковариаций, в то время как в LSA это матрица …

25 clustering  pca  data-mining  svd  lsa 

Я студент, и у меня есть проект для моего класса вероятности. По сути, у меня есть набор данных об ураганах, которые воздействовали на мою страну в течение ряда лет. В моей Книге вероятностей (Вероятность и статистика с R) есть (не полный) пример того, как проверить, соответствуют ли данные распределению Пуассона, …

25 r  self-study  poisson-distribution  poisson-process 

У меня есть два набора данных, один из набора физических наблюдений (температуры), и один из множества численных моделей. Я делаю анализ совершенной модели, предполагая, что ансамбль модели представляет собой истинную, независимую выборку, и проверяю, получены ли наблюдения из этого распределения. Рассчитанная мной статистика нормализована и теоретически должна быть стандартным нормальным …

25 bayesian  goodness-of-fit 

Я провел анализ данных, пытаясь сгруппировать продольные данные, используя R и пакет kml . Мои данные содержат около 400 отдельных траекторий (как это называется в статье). Вы можете увидеть мои результаты на следующем рисунке: После прочтения главы 2.2 «Выбор оптимального числа кластеров» в соответствующей статье я не получил никаких ответов. …

25 r  clustering  panel-data 

Вот немного предыстории о моей ситуации: мои данные относятся к количеству добычи, успешно съеденной хищником. Поскольку число жертв ограничено (25 доступно) в каждом испытании, у меня был столбец «Образец», представляющий количество доступных жертв (то есть, 25 в каждом испытании), и еще один, названный «Счет», который был числом успеха ( сколько …

25 r  generalized-linear-model  references  multiple-comparisons  tukey-hsd 

В течение некоторого времени я искал хорошее вводное чтение по Copulas для моего семинара. Я нахожу много материалов, которые говорят о теоретических аспектах, и это хорошо, но прежде чем перейти к ним, я стремлюсь построить хорошее интуитивное понимание по этой теме. Может ли кто-нибудь предложить какие-нибудь хорошие статьи, которые обеспечат …

25 correlation  references  marginal  copula 

Я прочитал ряд статей, в которых говорится о таких компаниях, как Google, Facebook и многих других, использующих R для исследований. Другой сценарий, о котором я читал, - это компании, использующие R для создания прототипа аналитического решения, а затем повторного внедрения его на другом языке. Я пытаюсь найти литературу о компаниях, …

25 r  references 

Моя зависимая переменная, показанная ниже, не подходит ни под какой дистрибутив, который я знаю. Линейная регрессия приводит к несколько ненормальным отклонениям в правильном направлении, которые странным образом относятся к предсказанному Y (2-й график). Какие-либо предложения для преобразований или других способов получить наиболее достоверные результаты и лучшую точность прогнозирования? Если возможно, …

25 regression  multiple-regression  data-transformation  censoring 

Если вы в последнее время читали бюллетени сообщества, вы, вероятно, видели сообщение «Охота на Снарка» на официальном блоге StackExchange Джоэла Спольски, генерального директора сети StackExchange. Он обсуждает статистический анализ, проведенный на примере комментариев SE, чтобы оценить их «дружелюбие» с точки зрения внешнего пользователя. Комментарии были случайным образом взяты из StackOverflow, …

25 reliability  agreement-statistics  methodology 

Этот вопрос был перенесен из переполнения стека, потому что на него можно ответить по перекрестной проверке. Мигрировал 7 лет назад . Я пытаюсь узнать, как работает нейронная сеть по распознаванию изображений. Я видел несколько примеров и стал еще более запутанным. В примере распознавания букв для изображения 20x20 значения каждого пикселя …

25 machine-learning  neural-networks  image-processing 

Давайте возьмем футбол (футбол), например. Есть 3 возможных исхода: домашняя победа, ничья, выездная победа. Я взял случайную игру от bet365 Turkey vs Ukraine hwin, draw, awin 2.20 3.40 3.20 Таким образом, если вы инвестируете 100 $ на данный результат, вы либо теряете 100 $, либо выигрываете: 220 $ , 340 …

25 probability  stochastic-processes 

Следуя моему вопросу об OLS , я задаюсь вопросом: какие диагностические графики существуют для квантильной регрессии? (и есть ли у R их реализация?) Быстрый поиск в гугле уже привел к появлению червя (о котором я никогда раньше не слышал), и я был бы рад узнать о других методах, о которых …

25 r  regression  diagnostic  quantile-regression  gamlss 

Есть ли хороший способ измерения гладкости временного ряда в R? Например, -1, -0.8, -0.6, -0.4, -0.2, 0, 0.2, 0.4, 0.6, 0.8, 1.0 намного плавнее чем -1, 0.8, -0.6, 0.4, -0.2, 0, 0.2, -0.4, 0.6, -0.8, 1.0 хотя они имеют одинаковое среднее значение и стандартное отклонение. Было бы здорово, если бы …

25 r  time-series 

Задний план Вокруг этого много дискуссий, поэтому я подумал, что смогу найти ответ по предыдущим шагам на StackExchange и яростно погуглить. Потратив полдня на поиски только одного справочника по (био) статистике с R, я совершенно запутался и вынужден был сдаться. Возможно, объединенный бесплатный материал на самом деле лучше, чем любая …

25 r  references