Вопросы с тегом «information»

Я хочу измерить энтропию / плотность информации / подобие шаблона двумерной двоичной матрицы. Позвольте мне показать некоторые фотографии для уточнения: Этот дисплей должен иметь довольно высокую энтропию: A) Это должно иметь среднюю энтропию: B) Эти фотографии, наконец, должны иметь почти нулевую энтропию: C) D) E) Есть ли какой-то индекс, который …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Если интерес представляет собой просто оценка параметров модели (точечная и / или интервальная оценка) и предшествующая информация не является надежной, слабой (я знаю, что это немного расплывчато, но я пытаюсь создать сценарий, в котором выбор до этого сложно) ... Почему кто-то решил использовать байесовский подход с «неинформативными» неподходящими априорными вместо …

44 bayesian  inference  prior  likelihood  information 

Учитывая такую иерархическую модель, и, М ~ L р л с е ( 0 , с ) , где N ( ⋅ , ⋅ ) является нормальным распределением. Есть ли способ получить точное выражение для информации Фишера о предельном распределении X с учетом с . То есть, что такое информация …

20 multilevel-analysis  information  fisher-information 

Я пытаюсь доказать, что наблюдаемая информационная матрица, оцененная по слабо непротиворечивой оценке максимального правдоподобия (MLE), является слабо непротиворечивой оценкой ожидаемой информационной матрицы. Это широко цитируемый результат, но никто не дает ссылку или доказательство (я исчерпал, я думаю, первые 20 страниц результатов Google и мои учебники статистики)! Используя слабо согласованную последовательность …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

Как видно из названия, всегда ли уменьшение размеров теряет некоторую информацию? Рассмотрим для примера PCA. Если у меня очень мало данных, я бы предположил, что может быть найдена «лучшая кодировка» (это как-то связано с рангом данных?), И ничего не будет потеряно.

10 pca  information-theory  information