Как узнать, какой метод оценки параметров выбрать?

Существует довольно много способов оценки параметров. MLE, UMVUE, MoM, теоретико-решение и другие - все они кажутся вполне логичными для того, почему они полезны для оценки параметров. Является ли какой-либо один метод лучше, чем другие, или это просто вопрос того, как мы определяем, что такое оценка «наилучшего соответствия» (аналогично тому, как минимизация ортогональных ошибок дает различные оценки из обычного метода наименьших квадратов)?

Здесь есть небольшая путаница в двух вещах: методы получения оценок и критерии оценки оценок. Максимальное правдоподобие (ML) и метод моментов (MoM) являются способами получения оценок; Равномерно несмещенная минимальная дисперсия (UMVU) и теория принятия решений являются критериями для оценки различных оценщиков, как только они у вас есть, но они не скажут вам, как их получить.

Из методов получения оценок ML обычно производит оценки, которые более эффективны (т.е. имеют меньшую дисперсию), чем MoM, если вы знаете модель, по которой были получены ваши данные («процесс генерирования данных» (DGP) на жаргоне). Но MoM делает меньше предположений о модели; как следует из его названия, он использует только один или несколько моментов, обычно только среднее значение или только среднее значение и дисперсию, поэтому он иногда более устойчив, если вы не уверены в DGP. Для одной и той же проблемы может быть несколько оценщиков MoM, а если вы знаете DGP, то есть только один оценщик ML.

Из методов оценки оценок, теоретико-решающее решение зависит от наличия функции потерь, которую можно использовать для оценки вашей оценки, хотя результаты могут быть довольно устойчивыми к ряду «разумных» функций потерь. Оценки UMVU часто даже не существуют; во многих случаях не является не несмещенной оценкой , которая всегда имеет минимальную дисперсию. И критерий непредвзятости также имеет сомнительную полезность, так как он не инвариантен к преобразованиям. Например, вы бы предпочли беспристрастную оценку отношения шансов или отношения шансов? Два будут разные.

Я бы предположил, что тип оценки зависит от нескольких вещей:

1. Каковы последствия неправильной оценки? (например, менее ли плохо, если ваша оценка слишком высока, по сравнению с слишком низкой? или вам безразлично направление ошибки? Если ошибка в два раза больше, это в два раза хуже? Это процентная ошибка или абсолютная ошибка это важно? Является ли оценка только промежуточным этапом, необходимым для прогнозирования? Является ли поведение большой выборки более или менее важным, чем поведение небольшой выборки?)
2. Какова ваша предварительная информация о количестве, которое вы оцениваете? (например, как данные функционально связаны с вашим количеством? знаете ли вы, является ли количество положительным? дискретным? оценивали ли вы это количество раньше? сколько данных у вас есть? есть ли какая-либо структура "групповой инвариантности" в ваших данных?)
3. Какое программное обеспечение у вас есть? (например, бесполезно предлагать MCMC, если у вас нет программного обеспечения для этого, или использовать GLMM, если вы не знаете, как это сделать.)

Первые два пункта зависят от контекста, и, подумав о вашем конкретном приложении , вы, как правило, сможете определить определенные свойства, которые вы хотели бы, чтобы ваш оценщик имел. Затем вы выбираете оценщик, который вы действительно можете рассчитать, который имеет столько свойств, сколько вы хотите, чтобы он имел.

Я думаю, что отсутствие контекста, который учебный курс имеет с оценкой, означает, что часто используется критерий «по умолчанию», аналогично для предварительной информации (наиболее очевидным «по умолчанию» является то, что вы знаете распределение выборки ваших данных). Сказав это, некоторые методы по умолчанию хороши, особенно если вы недостаточно знаете контекст. Но если вы делаете знать контекст, и есть инструменты , чтобы включить этот контекст, то вы должны, ибо в противном случае вы можете получить нелогичные результаты (из - за того , что вы проигнорировали).

Как правило, я не большой поклонник MVUE, потому что вам часто приходится жертвовать слишком большой дисперсией, чтобы получить беспристрастность. Например, представьте, что вы бросаете дротики в мишень для дротиков и хотите поразить их. Предположим, что максимальное отклонение от «бычьего глаза» составляет 6 см для конкретной стратегии броска, но центр точек дротика находится на 1 см выше яблочка. Это не MVUE, потому что центр должен быть на яблочке. Но предположим, что для того, чтобы сместить распределение вниз на 1 см (в среднем), вам нужно увеличить радиус до не менее 10 см (поэтому максимальная ошибка теперь составляет 10 см, а не 6 см). Это то, что может случиться с MVUE, если только дисперсия не мала, Предположим, я был намного более точным броском и мог сузить свою ошибку до 0,1см. Теперь смещение действительно имеет значение, потому что я никогда не попаду в яблочко!

Короче говоря, для меня смещение имеет значение только тогда, когда оно мало по сравнению с дисперсией. И вы, как правило, получите небольшие отклонения только тогда, когда у вас большая выборка.