Вопросы с тегом «maximum-likelihood»

Я читаю эту страницу: http://neuralnetworksanddeeplearning.com/chap3.html и это сказало, что сигмоидальный выходной слой с кросс-энтропией весьма похож на выходной слой softmax с логарифмической вероятностью. что произойдет, если я использую сигмоид с логарифмической вероятностью или softmax с перекрестной энтропией в выходном слое? это нормально? потому что я вижу, что есть только небольшая …

31 neural-networks  maximum-likelihood  softmax 

Я объясню мою проблему на примере. Предположим, вы хотите предсказать доход человека с учетом некоторых атрибутов: {Возраст, Пол, Страна, Регион, Город}. У вас есть тренировочный набор данных, как так train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Предположим, у нас есть случайная величина . Если был истинным параметром, функция правдоподобия должна быть максимизирована, а производная равна нулю. Это основной принцип оценки максимального правдоподобия.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Насколько я понимаю, информация о Фишере определяется как я( θ ) = E [ ( ∂∂θе( X| θ) )2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Рассмотрим независимых выборок S, полученных из случайной величины X, которая, как предполагается, следует усеченному распределению (например, усеченному нормальному распределению ) известных (конечных) минимальных и максимальных значений a и b, но неизвестных параметров μ и σ 2 . Если Х следовали неусеченной распределение, максимального правдоподобия оценок ц и σ 2 для …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

Я слышал об эмпирической вероятности Оуэна, но до недавнего времени не обращал на это внимания, пока не наткнулся на интересную статью ( Mengersen et al. 2012 ). В моих попытках понять это я выяснил, что вероятность наблюдаемых данных представляется в виде L = ∏япя= ∏яп( Xя= х ) = ∏яп( …

28 bayesian  maximum-likelihood  nonparametric  likelihood  empirical-likelihood 

Оценка максимального правдоподобия часто приводит к смещенным оценкам (например, ее оценка для выборочной дисперсии смещена для распределения Гаусса). Что же делает его таким популярным? Почему именно так много? Кроме того, что именно делает его лучше, чем альтернативный подход - метод моментов? Кроме того, я заметил, что для Гаусса простое масштабирование …

25 normal-distribution  maximum-likelihood  method-of-moments 

У меня путаница в оценках предвзятого максимального правдоподобия (ML). Математика всей концепции довольно ясна для меня, но я не могу понять интуитивное обоснование этого. Учитывая определенный набор данных, который имеет выборки из распределения, который сам является функцией параметра, который мы хотим оценить, оценщик ML приводит к значению для параметра, который, …

25 maximum-likelihood  bias 

Я наткнулся на пару руководств, предлагающих использовать Rs nlm для оценки максимального правдоподобия. Но ни один из них (включая документацию R ) не дает большого теоретического руководства о том, когда использовать или не использовать функцию. Насколько я могу судить, nlm просто делает градиентный спуск по методике Ньютона. Существуют ли принципы, …

25 r  maximum-likelihood 

Я только начал изучать статистику и моделирование вещей. В настоящее время я понимаю, что мы используем MLE, чтобы оценить лучшие параметры для модели. Однако, когда я пытаюсь понять, как работают нейронные сети, кажется, что они обычно используют другой подход для оценки параметров. Почему мы не используем MLE или вообще возможно …

23 maximum-likelihood  neural-networks 

Интересно, всегда ли есть максимизатор для какой-либо задачи оценки максимального (логарифмического) правдоподобия? Другими словами, есть ли какое-то распределение и некоторые его параметры, для которых у проблемы MLE нет максимизатора? Мой вопрос исходит от утверждения инженера о том, что функция стоимости (вероятность или логарифмическая вероятность, я не уверен, что предполагалось) в …

23 maximum-likelihood  optimization 

Каковы оценки максимального правдоподобия для параметров t-распределения Стьюдента? Существуют ли они в закрытом виде? Быстрый поиск в Google не дал мне никаких результатов. Сегодня меня интересует одномерный случай, но, вероятно, мне придется расширить модель до нескольких измерений. РЕДАКТИРОВАТЬ: меня на самом деле больше всего интересуют параметры местоположения и масштаба. Сейчас …

23 estimation  maximum-likelihood  t-distribution 

Я знаю, для обычных задач, если у нас есть лучший регулярный объективный оценщик, это должен быть оценщик максимального правдоподобия (MLE). Но в целом, если у нас есть беспристрастный MLE, будет ли он также лучшим беспристрастным оценщиком (или, может быть, я должен назвать его UMVUE, если он имеет наименьшую дисперсию)?

22 mathematical-statistics  maximum-likelihood  unbiased-estimator 

Согласно «Вероятности и статистике Миллера и Фрейнда для инженеров», 8ed (стр.217-218), функция правдоподобия, которая должна быть максимизирована для биномиального распределения (испытания Бернулли), определяется как L ( p ) = ∏Nя = 1пИкся( 1 - р )1 - хяL(п)знак равноΠязнак равно1NпИкся(1-п)1-ИксяL(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i} Как прийти к этому уравнению? Мне кажется довольно …

22 estimation  maximum-likelihood  bernoulli-distribution  point-estimation 

Учитывая вывод от optim с гессианской матрицей, как рассчитать доверительные интервалы параметров, используя гессенскую матрицу? fit<-optim(..., hessian=T) hessian<-fit$hessian Я в основном заинтересован в контексте анализа максимального правдоподобия, но мне любопытно узнать, можно ли расширить этот метод за пределы.

22 r  maximum-likelihood 

Предположим, у меня есть следующая модель Yя= ф( хя, θ ) + εяYязнак равное(Икся,θ)+εяy_i=f(x_i,\theta)+\varepsilon_i где , - вектор объясняющих переменных, - параметры нелинейной функции и , где естественно, матрица.Yя∈ RКYя∈рКy_i\in \mathbb{R}^KИксяИксяx_iθθ\thetaееfεя∼ N( 0 , Σ )εя~N(0,Σ)\varepsilon_i\sim N(0,\Sigma)ΣΣ\SigmaК× КК×КK\times K Целью является обычная оценка и . Очевидный выбор - метод максимального …

22 maximum-likelihood  optimization  covariance