Статистика и большие данные

В методе наименьших квадратов мы хотим оценить неизвестные параметры в модели: YJ= α + βИксJ+ εJ( j = 1 ... n )YJзнак равноα+βИксJ+εJ(Jзнак равно1 ...N)Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n) Как только мы это сделаем (для некоторых наблюдаемых значений), мы получим подогнанную линию регрессии: YJ= α^+ …

9 regression  least-squares  residuals  heteroscedasticity  assumptions 

Я использовал функцию 'polr' в пакете MASS, чтобы запустить порядковую логистическую регрессию для порядковой категориальной переменной ответа с 15 непрерывными объясняющими переменными. Я использовал код (показанный ниже), чтобы проверить, что моя модель соответствует предположению о пропорциональных шансах, следуя советам, приведенным в руководстве UCLA . Тем не менее, я немного беспокоюсь …

9 r  logistic  assumptions  ordered-logit  polr 

Просто потому, что какой-то корреспондент задал интересный вопрос о методах вычисления автокорреляции, я начал играть с ним, почти не зная о временных рядах и автокорреляции. Корреспондент упорядочил свои данные ( точки данных временного ряда), сдвинутые на одну временную задержку каждая, кроме того, чтобы у него была матрица из данных (как …

9 time-series  pca 

Рассмотрим линейную модель yi=α+βxi+ϵiyi=α+βxi+ϵiy_i= \alpha + \beta x_i + \epsilon_i и оценки наклона и точки пересечения и с использованием обычных наименьших квадратов. Эта ссылка на математическую статистику делает утверждение, что и независимы (в доказательстве своей теоремы). ; & beta ;α^α^\hat{\alpha}β^β^\hat{\beta} ; & beta ;α^α^\hat{\alpha}β^β^\hat{\beta} Я не уверен, что понимаю почему. …

9 regression 

У меня есть разные переменные, которые взаимодействуют в популяции. В основном я проводил инвентаризацию многоножек и измерял некоторые другие значения местности, например: Вид и количество собранных образцов Различных средах, где животные pH Процент органического материала количество P, K, Mg, Ca, Mn, Fe, Zn, Cu Соотношение Ca + Mg / K …

9 pca  multivariate-analysis  ecology  correspondence-analysis 

Я занимаюсь моделированием ARIMA, дополненным экзогенными переменными для целей рекламного моделирования, и мне трудно объяснить это бизнес-пользователям. В некоторых случаях программные пакеты заканчиваются простой передаточной функцией, то есть параметром * Exogenous Variable. В этом случае интерпретация проста, т.е. рекламная деятельность X (представленная экзогенной двоичной переменной) влияет на зависимую переменную (например, …

9 time-series  data-visualization  forecasting  arima  causality 

Я хочу рассчитать / оценить свертку g(x)=∫Df(x−t)ϕ(t)dt,g(x)=∫Df(x−t)ϕ(t)dt,g(x)=\int_D f(x-t) \phi(t) dt, где является плотностью и гладкая функция с компактным носителем . Свертка недоступна в закрытом виде, и мне нужно интегрировать ее численно. Мой вопрос: есть ли эффективный способ сделать это? Я хочу реализовать это в R, поэтому я хотел бы посмотреть, …

9 r  convolution 

У меня очень разреженные входы, например, расположение определенных функций на входном изображении. Кроме того, каждая функция может иметь несколько обнаружений (не уверен, что это повлияет на конструкцию системы). Это я буду представлять как двоичное изображение k-канала с включенными пикселями, представляющими наличие этой функции, и наоборот. Мы можем видеть, что такой …

9 neural-networks  deep-learning  sparse 

Может ли кто-нибудь объяснить, как процедуры FDR способны оценивать FDR без модели / предположения о базовой ставке истинных положительных результатов?

9 false-discovery-rate 

В настоящее время я читаю статью Перла (Pearl, 2009, 2-е издание) о причинности и борьбе за установление связи между непараметрической идентификацией модели и фактической оценкой. К сожалению, сам Перл очень молчит на эту тему. Чтобы привести пример, я имею в виду простую модель с причинным путем, , и механизмом, влияющим …

9 estimation  references  causality 

У меня есть образец (размером 250) из популяции. Я не знаю распределение населения. Основной вопрос: я хочу получить точечную оценку 1- го процента населения, а затем я хочу 95% доверительный интервал вокруг моей точечной оценки. Моя точечная оценка будет выборкой 1- го процентиля. Я обозначаю это .xxx После этого я …

9 confidence-interval  bootstrap  quantiles  extreme-value 

Я довольно плохо знаком со статистикой (несколько курсов Uni-уровня для начинающих), и мне было интересно узнать о выборках из неизвестных дистрибутивов. В частности, если вы понятия не имеете о базовом дистрибутиве, есть ли способ «гарантировать», что вы получите репрезентативную выборку? Пример для иллюстрации: скажем, вы пытаетесь выяснить глобальное распределение богатства. …

9 distributions  estimation  sampling  sample-size  algorithms 

Из других сообщений я узнал, что нельзя приписывать «важность» или «значимость» переменным предикторам, которые входят в модель лассо, потому что вычисление p-значений или стандартных отклонений этих переменных все еще находится в стадии разработки. Исходя из этого рассуждения, правильно ли утверждать, что один НЕ МОЖЕТ сказать, что переменные, ИСКЛЮЧЕННЫЕ из модели …

9 statistical-significance  bootstrap  simulation  lasso  regression-strategies 

Закрыто . Этот вопрос основан на мнении . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы ответить на него фактами и цитатами, отредактировав этот пост . Закрыто 5 лет назад . Я недавно закончила университет, и моя степень бакалавра в области статистики. Мне очень …

9 careers 

Рассмотрим следующий код R: > data <- data.frame( a=c(NA,2,3,4,5,6),b=c(2.2,NA,6.1,8.3,10.2,12.13),c=c(4.2,7.9,NA,16.1,19.9,23)) > data a b c 1 NA 2.20 4.2 2 2 NA 7.9 3 3 6.10 NA 4 4 8.30 16.1 5 5 10.20 19.9 6 6 12.13 23.0 Как видите, я обработал данные примерно так c = 2*b = 4*a. …

9 r  data-imputation  multiple-imputation