Использование информационной геометрии для определения расстояний и объемов ... полезно?

13

Я натолкнулся на большое количество литературы, в которой пропагандируется использование информационной метрики Фишера в качестве естественной локальной метрики в пространстве распределений вероятностей, а затем ее интеграция для определения расстояний и объемов.

Но действительно ли эти «интегрированные» величины полезны для чего-либо? Я не нашел никаких теоретических обоснований и очень мало практических приложений. Один из них - Гай Ливан работой , где он использует «расстояние Фишера» для классификации документов и еще один является Родригес» ABC Модельного Selection ... где„объем Фишера“используются для выбора модели. Очевидно, что использование «объема информации» дает улучшение «порядков» по сравнению с AIC и BIC для выбора модели, но я не видел каких-либо последующих действий в этой работе.

Теоретическим обоснованием может быть наличие границы обобщения, которая использует эту меру расстояния или объема и лучше, чем границы, полученные из MDL или асимптотических аргументов, или метод, основанный на одной из этих величин, который доказуемо лучше в некоторой разумно практической ситуации, если есть какие-либо результаты такого рода?

model-selection information-geometry

— Ярослав Булатов
источник

Информация Фишера дает нижнюю границу в оценке параметров. Это естественная метрика, потому что она примерно говорит что-то вроде «в этом направлении сложность моей проблемы не может уменьшиться больше, чем это». То, что вы называете границами обобщения, являются верхними границами? Вы хотите узнать производительность метода, который использует метрику Фишера (большой объем, который вы упомянули, является хорошим списком)? извините, но я действительно не понимаю вопрос :) вы можете переформулировать этот пункт?

— Робин Жирар

Допустим, что информационная матрица Фишера дает наш риманов метрический тензор. Это позволяет нам найти длину любой кривой путем интегрирования. Затем вы определяете расстояние между p и q как наименьшую длину дуги по всем кривым, соединяющим p и q. Это мера расстояния, о которой я спрашиваю. То же самое с объемом.

— Ярослав Булатов

1

Так, в качестве примера, Родригес получает значительное улучшение, используя «объем информации» в качестве меры сложности модели, но удивительно, что я не вижу, чтобы кто-нибудь еще попробовал это

— Ярослав Булатов

5

На прошлой неделе в Королевском статистическом обществе была прочитана статья о методах MCMC для многообразий Римана, в основном с использованием информационной метрики Фишера: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Результаты кажутся многообещающими, хотя, как указывают авторы, во многих интересующих моделях (таких как модели смешивания) информация Фишера не имеет аналитической формы.

— Саймон Бирн
источник

1

Это бумага "Риманова многообразия Ланжевена"? Интегрируют ли информацию Фишера в какой-то момент?

— Ярослав Булатов

4

Наиболее известным аргументом является то, что метрика Фишера, будучи инвариантной для преобразования координат, может использоваться для формулирования неинформированного априора (Джеффриса априора). Не уверен, что я куплю это!

Менее известно, что иногда эти «интегрированные величины» оказываются расхождениями, и поэтому можно утверждать, что расстояния Фишера генерируют обобщенный набор расхождений (и их свойств).

Но все же мне еще предстоит найти хорошее интуитивное описание информации о рыбаке и ее количествах. Пожалуйста, скажите мне, если вы найдете один.

— Лукас
источник

Многое известно об информации Фишера, это неотъемлемая часть информации о Фишере, в которой я не уверен. Я не знаком с тем, что вы говорите о превращении Fisher Information в некое известное расхождение в интеграции

— Ярослав Булатов,

4

Причина, по которой "нет продолжения" заключается в том, что очень немногие понимают работу Родригеса на протяжении многих лет. Это важный материал, и я уверен, что мы увидим его в будущем.

Однако некоторые утверждают, что метрика Фишера является лишь приближением 2-го порядка к истинной метрике (например , статья Неймана об установлении энтропийных приоров ), которая фактически определяется расстоянием Кульбака-Либлера (или ее обобщениями) и которая приводит к формулировке Целлера MDI приоры.

— Майкл
источник