Меня интересует природа . Кто-нибудь может сказать что-то интуитивное о том, «Что говорит о данных?»
Редактировать:
Спасибо за ответы
Пройдя несколько отличных курсов, я бы хотел добавить несколько моментов:
- Это мера информации, т. Е. это количество информации по направлению .
- Двойственность: Поскольку положительно определен, как и Σ - 1 , то есть они являются точечными нормами, точнее, они являются дуальными нормами друг друга, поэтому мы можем вывести двойственное число по Фенчелю для регуляризованной задачи наименьших квадратов и выполнить максимизацию относительно двойственной проблема. Мы можем выбрать любой из них, в зависимости от их условий.
- Гильбертово пространство: столбцы (и строки) из и Σ охватывают одно и то же пространство. Таким образом, нет никакого преимущества (кроме того, что когда одна из этих матриц плохо обусловлена) между представлением с Σ - 1 или Σ
- Статистика для частых: она тесно связана с информацией Фишера, используя границу Крамера – Рао. Фактически, информационная матрица Фишера (внешний продукт градиента логарифмического правдоподобия с самим собой) связана с Крамером-Рао, т.е. (относительно положительного полуопределенного конуса, iewrt концентрации эллипсоиды). Поэтому, когда максимальная оценка правдоподобия эффективна, т. Е. В данных существует максимальная информация, поэтому частотный режим является оптимальным. Проще говоря, для некоторых функций правдоподобия (обратите внимание, что функциональная форма правдоподобия зависит исключительно от вероятностной модели, которая предположительно генерирует данные, или генеративной модели), максимальное правдоподобие является эффективной и непротиворечивой оценщиком, правилом, подобным боссу. (извините за это)