Статистика и большие данные survey

3

Пример: регрессия LASSO с использованием glmnet для двоичного результата

Я начинаю баловаться с использованием glmnetс LASSO регрессией , где мой результат представляет интерес дихотомический. Я создал небольшой фрейм данных ниже: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, …

78 r self-study lasso regression interpretation anova statistical-significance survey conditional-probability independence naive-bayes graphical-model r time-series forecasting arima r forecasting exponential-smoothing bootstrap outliers r regression poisson-distribution zero-inflation genetic-algorithms machine-learning feature-selection cart categorical-data interpretation descriptive-statistics variance multivariate-analysis covariance-matrix r data-visualization generalized-linear-model binomial proportion pca matlab svd time-series correlation spss arima chi-squared curve-fitting text-mining zipf probability categorical-data distance group-differences bhattacharyya regression variance mean data-visualization variance clustering r standard-error association-measure somers-d normal-distribution integral numerical-integration bayesian clustering python pymc nonparametric-bayes machine-learning svm kernel-trick hyperparameter poisson-distribution mean continuous-data univariate missing-data dag python likelihood dirichlet-distribution r anova hypothesis-testing statistical-significance p-value rating data-imputation censoring threshold

5

Как работать с иерархическими / вложенными данными в машинном обучении

Я объясню мою проблему на примере. Предположим, вы хотите предсказать доход человека с учетом некоторых атрибутов: {Возраст, Пол, Страна, Регион, Город}. У вас есть тренировочный набор данных, как так train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train …

29 regression machine-learning multilevel-analysis correlation dataset spatial paired-comparisons cross-correlation clustering aic bic dependent-variable k-means mean standard-error measurement-error errors-in-variables regression multiple-regression pca linear-model dimensionality-reduction machine-learning neural-networks deep-learning conv-neural-network computer-vision clustering spss r weighted-data wilcoxon-signed-rank bayesian hierarchical-bayesian bugs stan distributions categorical-data variance ecology r survival regression r-squared descriptive-statistics cross-section maximum-likelihood factor-analysis likert r multiple-imputation propensity-scores distributions t-test logit probit z-test confidence-interval poisson-distribution deep-learning conv-neural-network residual-networks r survey wilcoxon-mann-whitney ranking kruskal-wallis bias loss-functions frequentist decision-theory risk machine-learning distributions normal-distribution multivariate-analysis inference dataset factor-analysis survey multilevel-analysis clinical-trials

1

Вычисление повторяемости эффектов по модели Лмера

Я только что наткнулся на эту статью , в которой описывается, как вычислить повторяемость (или надежность, или внутриклассовую корреляцию) измерения с помощью моделирования смешанных эффектов. Код R будет: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted …

28 mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

4

Как спроецировать новый вектор на пространство PCA?

После выполнения анализа главных компонентов (PCA) я хочу спроецировать новый вектор на пространство PCA (т.е. найти его координаты в системе координат PCA). Я рассчитал PCA на языке R, используя prcomp. Теперь я должен быть в состоянии умножить свой вектор на матрицу вращения PCA. Должны ли главные компоненты в этой матрице …

21 r pca r variance heteroscedasticity misspecification distributions time-series data-visualization modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio econometrics panel-data categorical-data scales survey distributions pdf histogram correlation algorithms r gpu parallel-computing approximation mean median references sample-size normality-assumption central-limit-theorem rule-of-thumb confidence-interval estimation mixed-model psychometrics random-effects-model hypothesis-testing sample-size dataset large-data regression standard-deviation variance approximation hypothesis-testing variance central-limit-theorem kernel-trick kernel-smoothing error sampling hypothesis-testing normality-assumption philosophical confidence-interval modeling model-selection experiment-design hypothesis-testing statistical-significance power asymptotics information-retrieval anova multiple-comparisons ancova classification clustering factor-analysis psychometrics r sampling expectation-maximization markov-process r data-visualization correlation regression statistical-significance degrees-of-freedom experiment-design r regression curve-fitting change-point loess machine-learning classification self-study monte-carlo markov-process references mathematical-statistics data-visualization python cart boosting regression classification robust cart survey binomial psychometrics likert psychology asymptotics multinomial

2

использование весов в svyglm vs glm

Я хотел бы знать, как обработка веса отличается между svyglmиglm Я использую twangпакет в R для создания оценок склонности, которые затем используются в качестве весов, как показано ниже (этот код взят из twangдокументации): library(twang) library(survey) set.seed(1) data(lalonde) ps.lalonde <- ps(treat ~ age + educ + black + hispan + nodegree …

18 r survey

2

Как рассчитать среднюю продолжительность приверженности вегетарианству, когда у нас есть только данные опросов о текущих вегетарианцах?

Была обследована случайная выборка населения. Их спросили, придерживаются ли они вегетарианской диеты. Если они ответили «да», их также попросили указать, как долго они питались вегетарианской диетой без перерыва. Я хочу использовать эти данные для расчета средней продолжительности приверженности вегетарианству. Другими словами, когда кто-то становится вегетарианцем, я хочу знать, что в …

16 survival mean missing-data survey weighted-mean

8

Как относиться к нелогичным ответам на опрос

Я представил опрос для образца художников. Один из вопросов состоял в том, чтобы указать процентную долю дохода, полученную от: художественной деятельности, государственной поддержки, частной пенсии, деятельности, не связанной с искусством. Около 65% респондентов ответили так, что сумма процентов равна 100. Остальные нет: например, есть те, кто отвечает, что 70% их …

13 survey bias

8

Опросы: Является ли 25% крупного представителя базы пользователей?

Мой работодатель в настоящее время проводит общекорпоративный опрос об отношении к офису, т.е. о настроениях. В прошлом они открывали опрос для всех областей бизнеса (допустим, 10 очень разных отделов) и всех сотрудников в них (в общей сложности 1000 сотрудников во всей компании). Количество сотрудников в каждом отделе не равно и …

13 survey survey-sampling

5

Почему утверждается, что выборка часто является более точной, чем перепись?

Изучая курс выборки, я встречаю следующие два утверждения: 1) Ошибка выборки приводит к большей изменчивости, ошибки выборки приводят к смещению. 2) Из-за ошибки несэмплирования выборка часто является более точной, чем CENSUS. Я не знаю, как понять эти два утверждения. Какова основная логика для получения этих двух утверждений?

13 estimation sampling survey bias

2

Выявление бесполезных вопросов из анкеты

Я разрабатываю анкету. Для повышения его надежности и достоверности я хочу использовать статистические методы. Я хочу исключить вопросы, ответы на которые всегда одинаковы. Это означает, что почти все участники дали одинаковые ответы на эти вопросы. Теперь мои вопросы: Какой технический термин для таких бесполезных вопросов, ответы на которые всегда одинаковы, …

12 survey reliability psychometrics validity

3

Проверка анкет

Я разрабатываю анкету для своей диссертации. Я нахожусь в процессе проверки анкеты. Я применил альфа-тест Кронбаха к исходной выборочной группе. Ответы на вопросник в масштабе Лайкерта; Может ли кто-нибудь предложить какие-либо дополнительные тесты, чтобы применить, чтобы помочь проверить его действительность. Я не специалист по статистике, поэтому любая помощь будет оценена. …

12 survey scales psychometrics scale-construction

2

Перекрестная проверка после LASSO в данных комплексного опроса

Я пытаюсь сделать выбор модели для некоторых кандидатов-предикторов, используя LASSO с непрерывным результатом. Цель состоит в том, чтобы выбрать оптимальную модель с наилучшими показателями прогнозирования, что обычно может быть выполнено путем перекрестной проверки в K-кратном порядке после получения пути решения параметров настройки из LASSO. Проблема здесь заключается в том, что …

11 cross-validation survey lasso glmnet

2

Как лучше всего визуализировать эффекты категорий и их распространенность в логистической регрессии?

Мне нужно представить информацию об основных предикторах голосов кандидата, используя данные опроса общественного мнения. Я выполнил логистическую регрессию, используя все переменные, которые меня интересуют, но я не могу найти хороший способ представить эту информацию. Мой клиент заботится не только о размере эффекта, но и о взаимодействии между размером эффекта и …

11 logistic data-visualization survey

2

Как границы погрешности связаны с доверительными интервалами?

Может кто-нибудь сказать мне разницу между краями ошибки и доверительными интервалами? В Интернете я вижу, как эти два значения взаимозаменяемы. Правильно ли сказать, «Доверительные интервалы показаны как 1,96 и отображаются на графиках в виде полей ошибок»?

11 confidence-interval survey polling

6

Есть ли сайт, на котором можно опубликовать свой опрос, чтобы я мог получить выборку представителя населения?

Это только для моего старшего школьного проекта, поэтому он не должен быть идеальным. Я делаю проект по глобальному потеплению, и я хочу опросить людей на предмет их мнений. Я знаю, что если я воспользуюсь удобной выборкой моих одноклассников, у меня будет много предубеждений. Мне было интересно, есть ли в Интернете …

11 survey internet

Вопросы с тегом «survey»