Статистика и большие данные

Данные имеют много функций (например, 100), а количество экземпляров равно 100 000. Данные редки. Я хочу соответствовать данным, используя логистическую регрессию или SVM. Как я узнаю, являются ли объекты линейными или нелинейными, чтобы я мог использовать трюк ядра, если он нелинейный?

21 machine-learning  logistic  svm  data-mining 

У меня есть некоторые основные данные о сокращении выбросов и стоимости автомобиля: q24 <- read.table(text = "reductions cost.per.car 50 45 55 55 60 62 65 70 70 80 75 90 80 100 85 200 90 375 95 600 ",header = TRUE, sep = "") Я знаю, что это экспоненциальная функция, …

21 r  self-study  exponential  starting-values 

Часто упоминается, что выпрямленные линейные единицы (ReLU) вытеснили единицы softplus, потому что они линейны и быстрее вычисляются. Есть ли у softplus преимущество в том, что оно вызывает редкость или оно ограничено ReLU? Причина, по которой я спрашиваю, заключается в том, что я задаюсь вопросом о негативных последствиях нулевого уклона ReLU. …

21 machine-learning  neural-networks 

Максимум iid Стандартные нормальности сходятся к стандартному распределению Гамбеля в соответствии с теорией экстремальных значений .Икс1, … , XN, ~Икс1,...,ИксN,~X_1,\dots,X_n. \sim Как мы можем показать это? У нас есть п( максимум Xя≤ x ) = P( X1≤ х , … , хN≤ x ) = P( X1≤ x ) ⋯ …

21 probability  normal-distribution  convergence  extreme-value 

В частности, скажем, у меня есть два события, A и B, и некоторые параметры распределения , и я хотел бы взглянуть на .θθ \theta п( A | B , θ )P(A|B,θ)P(A | B,\theta) Итак, простейшее определение условной вероятности, если для некоторых событий A и B, то . Так что, если …

21 probability  conditional-probability 

После выполнения анализа главных компонентов (PCA) я хочу спроецировать новый вектор на пространство PCA (т.е. найти его координаты в системе координат PCA). Я рассчитал PCA на языке R, используя prcomp. Теперь я должен быть в состоянии умножить свой вектор на матрицу вращения PCA. Должны ли главные компоненты в этой матрице …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

В следующем наборе данных я хотел посмотреть, изменится ли ответ (эффект) в отношении сайтов, сезона, продолжительности и их взаимодействий. Некоторые онлайн-форумы по статистике предложили мне продолжить работу с линейными моделями со смешанными эффектами, но проблема в том, что, поскольку репликации рандомизированы на каждой станции, у меня мало шансов собрать образец …

21 r  mixed-model  lme4-nlme 

Я узнаю об эмпирической функции кумулятивного распределения. Но я все еще не понимаю Почему это называется «Эмпирический»? Есть ли разница между Эмпирическим CDF и CDF?

21 distributions  terminology  cdf  ecdf 

В классической статистике есть определение, что статистика TTT набора данных определена как полная для параметра которого невозможно сформировать несмещенную оценку из нее нетривиально. То есть, единственный способ иметь для всех , чтобы иметь быть почти наверняка.y1,…,yny1,…,yny_1, \ldots, y_nθθ\theta000Eh(T(y))=0Eh(T(y))=0E h(T (y )) = 0θθ\thetahhh000 Есть ли за этим интуиция? Похоже, это …

21 mathematical-statistics  intuition  unbiased-estimator  definition  complete-statistics 

В моем классе вероятностей постоянно используются термины «суммы случайных величин». Тем не менее, я застрял на том, что именно это означает? Мы говорим о сумме связок реализаций от случайной величины? Если это так, разве это не означает, что это одно число? Как сумма реализаций случайных величин приводит нас к распределению …

21 probability  self-study  random-variable  terminology 

Я делаю вопрос о цепях Маркова, и последние две части говорят это: Обладает ли эта цепь Маркова предельным распределением. Если ваш ответ «да», найдите ограничивающее распределение. Если ваш ответ «нет», объясните почему. Обладает ли эта цепь Маркова стационарным распределением. Если ваш ответ «да», найдите стационарное распределение. Если ваш ответ «нет», …

21 markov-process 

Я оцениваю физическую модель и хотел бы знать, какой из методов мне следует использовать здесь (между RMSE и Коэффициент определения R2) Проблема заключается в следующем: у меня есть функция, которая выводит прогнозы для входного значения x, . У меня также есть фактическое наблюдение для этого значения, которое я называю .yxYИкс¯¯¯¯¯= …

21 error 

Я хочу рассчитать распределение вероятностей для суммы комбинации костей. Я помню, что вероятность - это количество комбинаций, которые составляют это число в общем количестве комбинаций (при условии, что кости имеют равномерное распределение). Какие формулы для Количество комбинаций всего Количество комбинаций, которые составляют определенное количество

21 probability  dice 

Я читал статью о пакетной нормализации (BN) (1) и не понимал необходимости использовать скользящие средние для отслеживания точности модели, и даже если я признал, что это было правильно, я не понимаю что они делают точно. Насколько я понимаю (что я могу ошибаться), в статье упоминается, что она использует статистику населения, …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Я немного экспериментирую с автоэнкодерами, и с помощью tenorflow я создал модель, которая пытается восстановить набор данных MNIST. Моя сеть очень проста: X, e1, e2, d1, Y, где e1 и e2 - уровни кодирования, d2 и Y - уровни декодирования (а Y - восстановленный выход). X имеет 784 единиц, e1 …

21 mse  autoencoders  tensorflow  cross-entropy