Я видел пару выступлений не-статистиков, где они, похоже, заново изобретают меры корреляции, используя взаимную информацию, а не регрессию (или эквивалентные / тесно связанные статистические тесты).
Я полагаю, есть веская причина, по которой статистики не используют такой подход. Мое непрофессионал понимает, что оценки энтропии / взаимной информации, как правило, являются проблемными и нестабильными. Я полагаю, что в результате мощность также является проблематичной: они пытаются обойти это, утверждая, что они не используют параметрическую среду тестирования. Обычно такая работа не связана с расчетами мощности или даже с доверительными / достоверными интервалами.
Но чтобы занять позицию защитника дьявола, разве медленная конвергенция настолько важна, когда наборы данных чрезвычайно велики? Кроме того, иногда эти методы, кажется, «работают» в том смысле, что ассоциации подтверждаются последующими исследованиями. Какова лучшая критика против использования взаимной информации в качестве меры ассоциации и почему она не широко используется в статистической практике?
редактировать: Кроме того, есть ли хорошие документы, которые освещают эти вопросы?