Статистика и большие данные

Согласно регрессионному анализу на примере , остаток представляет собой разницу между откликом и прогнозируемым значением, тогда говорят, что каждый остаток имеет различную дисперсию, поэтому нам нужно рассмотреть стандартизированные остатки. Но дисперсия относится к группе значений, как одно значение может иметь дисперсию?

9 regression  residuals 

У меня есть проблемы в использовании cor()и cor.test()функции. У меня просто есть две матрицы (только числовые значения и одинаковое количество строк и столбцов), и я хочу получить номер корреляции и соответствующее значение p. Когда я использую, cor(matrix1, matrix2)я получаю коэффициенты корреляции для всех ячеек. Я просто хочу одно число как …

9 r  correlation 

У меня есть большой опрос, в котором ученикам задали, среди прочего, уровень образования их матери. Некоторые пропустили это, а некоторые ответили неправильно. Я знаю это, потому что там была проведена беседа с подвыборкой из первых респондентов матери, которые задали тот же вопрос. (Я уверен, что есть и небольшая доля ошибок, …

9 data-imputation 

У меня есть несколько результатов теста задержки ответа сервера. Согласно нашему теоретическому анализу, распределение задержки (функция распределения вероятности задержки ответа) должно иметь поведение с тяжелым хвостом. Но как я могу доказать, что результат теста соответствует распределению тяжелых хвостов?

9 regression  distributions  probability  normal-distribution  mathematical-statistics 

Я использую 2 вида логистической регрессии - один простой тип, для двоичной классификации, а другой - порядковый логистический регресс. Для вычисления точности первого я использовал перекрестную проверку, где я вычислял AUC для каждого раза и затем вычислял среднее значение AUC. Как я могу сделать это для порядковой логистической регрессии? Я …

9 logistic  cross-validation  roc  auc  ordered-logit 

Некоторые статистические методы - я не помню, если это анализ основных компонентов или что-то в этом роде - иногда называют «французским анализом данных». Что именно? И некоторые люди говорят, что это имя иронично, правда ли и почему?

9 multivariate-analysis  terminology  correspondence-analysis 

Используя R, я установил линейную модель для одной переменной ответа из смеси непрерывных и дискретных предикторов. Это базовый уровень, но мне трудно понять, как работает коэффициент для дискретного фактора. Концепция: Очевидно, что коэффициент непрерывной переменной «х» применяется в форме, y = coefx(varx) + interceptно как это работает для фактора z, …

9 linear-model  regression-coefficients  contrasts 

Я использую пакет kernlab в R для создания SVM для классификации некоторых данных. SVM работает хорошо, поскольку он обеспечивает «предсказания» с приличной точностью, однако мой список входных переменных больше, чем мне бы хотелось, и я не уверен относительно относительной важности различных переменных. Я хотел бы реализовать генетический алгоритм, чтобы выбрать …

9 r  machine-learning  svm  genetic-algorithms 

В чем разница между взаимной корреляцией и взаимной информацией. Какие проблемы можно решить с помощью этих мер и когда уместно использовать одну над другой. Спасибо за комментарии. Чтобы прояснить, вопрос вызван интересом к анализу iomage, а не анализу временных рядов, хотя любое просвещение в этой области также будет оценено

9 cross-correlation  mutual-information 

Скажем, у вас есть данные о выживании, как это: obs <- data.frame( time = c(floor(runif(100) * 30), floor((runif(100)^2) * 30)), status = c(rbinom(100, 1, 0.2), rbinom(100, 1, 0.7)), group = gl(2,100) ) Чтобы выполнить стандартный тест ранга журнала, можно использовать survdiff(Surv(time, status) ~ group, data = obs, rho = 0) …

9 r  survival  wilcoxon-signed-rank 

Как ожидаемое значение непрерывной случайной величины связано с ее средним арифметическим, медианой и т. Д. В ненормальном распределении (например, косо-нормальное)? Меня интересуют любые распространенные / интересные дистрибутивы (например, log-normal, простые bi / multimodal дистрибутивы, что-нибудь еще странное и замечательное). Я в основном ищу качественные ответы, но любые количественные или формальные …

9 mean  expected-value  median 

В качестве дополнительного хобби я изучал прогнозирование временных рядов (в частности, с использованием R). По моим данным, у меня есть количество посещений в день, за каждый день, уходящий почти на 4 года. В этих данных есть несколько четких закономерностей: Понедельник-пятница имеет много посещений (самый высокий в понедельник / вторник), но …

9 r  time-series  seasonality  forecasting 

Существуют ли стандартные алгоритмы (в отличие от программ) для выполнения иерархической линейной регрессии? Люди обычно просто делают MCMC или есть более специализированные, возможно частично закрытые формы, алгоритмы?

9 regression  bayesian  multiple-regression  multilevel-analysis  irls 

Допустим, у меня есть куча строк для задачи классификации: Икс1, . , , ИксN, YX1,...XN,YX_1, ... X_N, Y Где - признаки / предикторы, а - класс, к которому относится комбинация признаков строки. YИкс1, . , , , XNX1,...,XNX_1, ..., X_NYYY Многие комбинации функций и их классы повторяются в наборе данных, …

9 machine-learning  classification  data-mining  logistic  stratification 

Существует ли общий принцип о том, следует ли вычислять корреляцию Пирсона для двух случайных величин X и Y перед выполнением их лог-преобразования или после? Есть ли процедура для проверки, которая более подходит? Они дают одинаковые, но разные значения, поскольку логарифмическое преобразование нелинейно. Зависит ли это от того, ближе ли X …

9 regression  correlation  logarithm  pearson-r