Вопросы с тегом «maximum-likelihood»

Существует довольно много способов оценки параметров. MLE, UMVUE, MoM, теоретико-решение и другие - все они кажутся вполне логичными для того, почему они полезны для оценки параметров. Является ли какой-либо один метод лучше, чем другие, или это просто вопрос того, как мы определяем, что такое оценка «наилучшего соответствия» (аналогично тому, как …

12 estimation  mathematical-statistics  maximum-likelihood  method-of-moments  umvue 

Может ли кто-нибудь сказать мне, каковы условия регулярности для асимптотического распределения теста отношения правдоподобия? Куда бы я ни посмотрел, везде написано «В условиях регулярности» или «В вероятностных закономерностях». Какие именно условия? Что существуют первая и вторая логарифмические производные правдоподобия, а информационная матрица не равна нулю? Или что-то еще целиком?

12 maximum-likelihood  likelihood-ratio  asymptotics 

Я хотел лучше понять точный критерий Фишера, поэтому я разработал следующий пример игрушки, где f и m соответствуют мужской и женской части, а n и y соответствуют «потреблению соды», например: > soda_gender f m n 0 5 y 5 0 Очевидно, это резкое упрощение, но я не хотел, чтобы контекст …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

В теореме Байеса , а из книги, которую я читаю, называется вероятность , но я предполагаю , что это всего лишь условная вероятность от дается , не так ли? p(x|y)p(y|x)=p(x|y)p(y)p(x)п(Y|Икс)знак равноп(Икс|Y)п(Y)п(Икс)p(y|x) = \frac{p(x|y)p(y)}{p(x)}p(x|y)п(Икс|Y)p(x|y)уxИксxyYy Оценка максимального правдоподобия пытается максимизировать , верно? Если это так, я сильно запутался, потому что обе случайные …

12 bayesian  maximum-likelihood 

Существует ли эмпирическое правило или вообще какой-либо способ сказать, насколько большой должна быть выборка, чтобы оценить модель с заданным количеством параметров? Так, например, если я хочу оценить регрессию наименьших квадратов с 5 параметрами, насколько большой должна быть выборка? Имеет ли значение метод оценки, который вы используете (например, максимальное правдоподобие, метод …

12 sample-size  estimation  least-squares  maximum-likelihood 

Я понимаю, что, учитывая набор из независимых наблюдений максимального правдоподобия оценщик (или, что эквивалентно, карта с плоской / равномерной до) , который идентифицирует параметров \ mathbf {θ} , которые производят распределение модели P_ {модель} \ слева (\, \ cdot \,; \ mathbf {θ} \ right), который лучше всего соответствует этим …

12 maximum-likelihood  deep-learning  cross-entropy 

Я читаю PRML, и я не понимаю картину. Не могли бы вы дать несколько советов, чтобы понять картину и почему MLE дисперсии в распределении Гаусса смещены? формула 1.55: формула 1.56 σ 2 M L E =1μMLE=1N∑n=1NxnμMLE=1N∑n=1Nxn \mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n σ2MLE=1N∑n=1N(xn−μMLE)2σMLE2=1N∑n=1N(xn−μMLE)2 \sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2

12 machine-learning  self-study  maximum-likelihood 

Как я могу построить асимптотический доверительный интервал для реального параметра, начиная с MLE для этого параметра?

12 confidence-interval  mathematical-statistics  maximum-likelihood  inference 

Можно ли применить обычную процедуру MLE к распределению треугольника? - Я пытаюсь, но я, кажется, заблокирован на том или ином этапе в математике, как определяется распределение. Я пытаюсь использовать тот факт, что я знаю количество выборок выше и ниже c (не зная c): эти 2 числа - cn и (1-c) …

12 distributions  mathematical-statistics  maximum-likelihood  triangular-distribution 

Пока я изучаю оценку максимального правдоподобия, чтобы сделать вывод в оценке максимального правдоподобия, нам нужно знать дисперсию. Чтобы выяснить разницу, мне нужно знать нижнюю границу Рао Крамера, которая выглядит как гессианская матрица со вторым производным по кривизне. Я вроде как перепутал, чтобы определить связь между ковариационной матрицей и гессианской матрицей. …

12 machine-learning  mathematical-statistics  maximum-likelihood  data-mining 

У меня есть функция правдоподобия Л (д| θ)L(d|θ)\mathcal{L}(d | \theta) для вероятности моих данных учетом некоторых параметров модели , которые я хотел бы оценить. Принимая плоские априорные значения параметров, вероятность пропорциональна апостериорной вероятности. Я использую метод MCMC для выборки этой вероятности.dddθ ∈ RNθ∈рN\theta \in \mathbf{R}^N Глядя на полученную сходящуюся цепочку, …

11 bayesian  maximum-likelihood  optimization  inference  mcmc 

Недавно я узнал о методах «без правдоподобия», которые обсуждаются в литературе. Однако мне не ясно, что означает, что метод логического вывода или метод оптимизации не имеют правдоподобия . В машинном обучении цель обычно состоит в том, чтобы максимизировать вероятность того, что некоторые параметры соответствуют функции, например весам нейронной сети. Так …

11 machine-learning  deep-learning  maximum-likelihood  generative-models  abc 

Название говорит обо всем. Я понимаю, что наименьшие квадраты и максимальное правдоподобие дадут одинаковый результат для коэффициентов регрессии, если ошибки модели будут нормально распределены. Но что произойдет, если ошибки не распределяются нормально? Почему два метода больше не эквивалентны?

11 regression  normal-distribution  maximum-likelihood  least-squares  error 

Я читаю теоретическую статью Дуга Бейтса о пакете lme4 в R, чтобы лучше понять суть смешанных моделей, и натолкнулся на интригующий результат, который я хотел бы лучше понять, об использовании ограниченного максимального правдоподобия (REML) для оценки дисперсии , В разделе 3.3, посвященном критерию REML, он утверждает, что использование REML при …

11 maximum-likelihood  mixed-model  unbiased-estimator  hierarchical-bayesian  reml 

Я читал книгу Франклина М. Фишера «Проблема идентификации в эконометрике », и меня смутило то, что он демонстрирует идентификацию путем визуализации функции правдоподобия. Проблема может быть упрощена как: Для регрессии , где , и - параметры. Предположим, что имеет коэффициент равный единице. Тогда функция правдоподобия в пространстве будет иметь гребень …

11 mathematical-statistics  maximum-likelihood  geometry