Вопросы с тегом «maximum-likelihood»

Общий вопрос Скажем, у нас есть потоковые данные , , ... . Мы хотим рекурсивно вычислить оценку максимального правдоподобия \ boldsymbol {\ theta} . То есть, вычислив \ hat {\ boldsymbol {\ theta}} _ {n-1} = \ underset {\ boldsymbol {\ theta} \ in \ mathbb {R} ^ p} {\ …

15 maximum-likelihood  online 

Джеффри Вулдридж в своем эконометрическом анализе данных поперечного сечения и панелей (стр. 357) говорит, что эмпирический гессиан «не гарантированно будет положительно определенным или даже положительно полуопределенным для конкретного образца, с которым мы работаем». Это кажется мне неправильным, поскольку (помимо численных проблем) гессиан должен быть положительно полуопределенным в результате определения М-оценки …

15 estimation  maximum-likelihood  econometrics  asymptotics 

Мне интересно, использовалась ли когда-либо максимальная оценка правдоподобия в статистике. Мы изучаем понятие этого, но мне интересно, когда это фактически используется. Если мы предположим распределение данных, мы найдем два параметра, один для среднего значения и один для дисперсии, но действительно ли вы используете его в реальных ситуациях? Может кто-нибудь сказать …

14 estimation  maximum-likelihood 

Пусть θ будет оценка максимального правдоподобия истинного параметра некоторой модели. По мере увеличения числа точек данных ошибка обычно уменьшается как O (1 / \ sqrt n) . Используя неравенство треугольника и свойства ожидания, можно показать, что этот коэффициент ошибок подразумевает, что оба «смещения» \ lVert \ mathbb E \ hat …

14 variance  estimation  maximum-likelihood  bias 

Этот вопрос касается оценки ограниченного максимального правдоподобия (REML) в конкретной версии линейной модели, а именно: Y= Х( α ) β+ ϵ ,ε ~ NN( 0 , Σ ( α ) ) ,Yзнак равноИкс(α)β+ε,ε~NN(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), где - ( ) матрица, параметризованная , как …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

В первой главе книги « Алгебраическая геометрия и теория статистического обучения», в которой говорится о сходимости оценок в разных функциональных пространствах, упоминается, что байесовская оценка соответствует топологии распределения Шварца, тогда как оценка максимального правдоподобия соответствует топологии sup-norm. (на странице 7): Например, sup-норма, LpLpL^p -норма, слабая топология гильбертова пространства L2L2L^2 , …

14 bayesian  maximum-likelihood  statistical-learning 

Кажется, существует большая путаница при сравнении использования glmnetвнутри caretдля поиска оптимальной лямбды и использования cv.glmnetдля выполнения той же задачи. Было задано много вопросов, например: Модель классификации train.glmnet против cv.glmnet? Как правильно использовать glmnet с кареткой? Перекрестная проверка `glmnet` с использованием` caret` но ответа не дано, что может быть связано с …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

MLE = оценка максимального правдоподобия MAP = максимум апостериорный MLE интуитивно понятен / наивен в том смысле, что он начинается только с вероятности наблюдения с учетом параметра (то есть функции правдоподобия) и пытается найти параметр, наилучшим образом соответствующий наблюдению . Но это не принимать во внимание предшествующее знание. MAP кажется …

14 machine-learning  bayesian  estimation  maximum-likelihood  inference 

Учитывая набор данных с двоичными результатами и некоторой матрицей предикторов , стандартная модель логистической регрессии оценивает коэффициенты \ beta_ {MLE } которые максимизируют биномиальную вероятность. Когда X - полный ранг, \ beta_ {MLE} уникален; когда нет идеального разделения, оно конечно.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} Эта модель максимального правдоподобия также максимизирует ROC AUC (он …

13 logistic  maximum-likelihood  auc 

Это какая-то странная мысль, которая у меня возникла при просмотре какой-то старой статистики, и по какой-то причине я не могу придумать ответ. Непрерывный PDF говорит нам о плотности наблюдаемых значений в любом заданном диапазоне. А именно, например, если , то вероятность того, что реализация попадает между и , просто где …

13 normal-distribution  maximum-likelihood  pdf 

Недавно я просмотрел несколько старых работ Нэнси Рейд, Барндорфа-Нильсена, Ричарда Кокса и, да, маленького Рональда Фишера о понятии «условный вывод» в парадигме частоты, что, по-видимому, означает, что выводы основаны на рассмотрении только «соответствующее подмножество» пробного пространства, а не всего пробного пространства. В качестве ключевого примера известно, что доверительные интервалы, основанные …

13 confidence-interval  maximum-likelihood  inference 

Я вижу упомянутое в разных местах, что ANOVA делает оценку, используя метод моментов. Меня смущает это утверждение, потому что, хотя я не знаком с методом моментов, я понимаю, что это нечто отличное от метода максимальной вероятности и не эквивалентное ему; с другой стороны, ANOVA можно рассматривать как линейную регрессию с …

13 anova  mixed-model  maximum-likelihood  method-of-moments 

Этот вопрос вдохновлен долгим обсуждением в комментариях здесь: Как линейная регрессия использует нормальное распределение? В обычной модели линейной регрессии для простоты здесь написано только с одним предиктором: Yi=β0+β1xi+ϵiYi=β0+β1xi+ϵi Y_i = \beta_0 + \beta_1 x_i + \epsilon_i где xixix_i - известные константы, а ϵiϵi\epsilon_i - члены с независимой ошибкой с нулевым …

13 regression  normal-distribution  mathematical-statistics  maximum-likelihood  least-squares 

При выполнении регрессии, если мы перейдем к определению из: Какова разница между частичной вероятностью, профильной вероятностью и предельной вероятностью? что Максимальное правдоподобие Найти β и θ, который максимизирует L (β, θ | данных). В то время как предельное правдоподобие Мы интегрируем θ из уравнения правдоподобия, используя тот факт, что мы …

13 regression  maximum-likelihood 

После центрирования два измерения x и -x можно считать независимыми наблюдениями из распределения Коши с функцией плотности вероятности: 1f(x:θ)=f(x:θ)=f(x :\theta) = ,-∞&lt;x&lt;∞1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞&lt;x&lt;∞,−∞&lt;x&lt;∞, -∞ < x < ∞ Покажите, что если MLE для θ равно 0, но если x 2 &gt; 1, есть два MLE для θ , равные …

13 self-study  distributions  maximum-likelihood  cauchy