Проверка гипотез на ноль-завышенных непрерывных данных

Буду очень признателен за совет по следующей проблеме:

У меня есть большой непрерывный набор данных с большим количеством нулей (~ 95%), и мне нужно найти лучший способ проверить, являются ли некоторые его подмножества «интересными», то есть, кажется, не взяты из того же дистрибутива, что и остальные. Нулевая инфляция происходит из-за того, что каждая точка данных основана на измерении счетчика с истинными и выборочными нулями, но результат является непрерывным, поскольку учитывает некоторые другие параметры, взвешенные по счетчику (и поэтому, если счетчик равен нулю, результат тоже ноль).

Каков был бы лучший способ сделать это? У меня есть ощущение, что тесты Вилкоксона и даже перестановки методом грубой силы неадекватны, поскольку они искажаются этими нулями. Сосредоточение внимания на ненулевых измерениях также удаляет истинные нули, которые чрезвычайно важны. Нулевые модели для подсчета данных хорошо разработаны, но не подходят для моего случая.

Я подумал о том, чтобы подогнать дистрибутив Tweedie к данным, а затем подогнать glm на response = f (subset_label). Теоретически это кажется возможным, но мне интересно, а) является ли это избыточным, и (б) все еще неявно предполагать, что все нули являются образцами нулей, то есть будут ли смещены таким же образом (в лучшем случае), как перестановка?

Интуитивно это звучит так, как будто у вас есть какой-то иерархический дизайн, который объединяет биномиальную статистику, основанную на пропорции нулей, и, скажем, статистику Уилкоксона, вычисленную по ненулевым значениям (или, что еще лучше, ненулевым значениям, дополненным долей нули, основанные на некотором предшествующем). Звучит как байесовская сеть ...

Надеюсь, я не первый, у кого возникла эта проблема, поэтому был бы очень признателен, если бы вы указали мне подходящие существующие методы ...

Большое спасибо!

@ MSP, я думаю, что вы смотрите на двухэтапную модель в этом приложении (у меня не было времени, чтобы прочитать ее), но я постоянно работаю с нулевыми завышенными непрерывными данными. Для подгонки параметрической модели к этим данным (для проверки гипотез) вы можете выбрать две стадии, но тогда у вас есть две модели (Y является целью, а X - ковариатами): P (Y = 0 | X) и P (Y | Х, Y> 0). Вы должны использовать симуляцию, чтобы "свести" их вместе. Книга Гельмана (и пакет arm в R) показывает этот процесс для этой точной модели (с использованием логистической регрессии и обычной линейной регрессии с лог-ссылкой).

Другой вариант, который я видел и который мне нравится больше, - это установить нулевую завышенную гамма-регрессию, которая аналогична описанной выше (но гамма-ошибка как погрешность вместо гассовской), и вы можете свести их вместе для проверки гипотез P (Y | X) , Я не знаю, как это сделать в R, но вы можете в SAS NLMIXED. Смотрите этот пост , он работает хорошо.

Аналогичный подход к статье Флетчера используется в маркетинговом тестировании, где мы можем произвольно разделить эффекты интервенций (таких как реклама) на (а) изменение количества покупок бренда (то есть соотношение нулей) и (б) а изменение частоты покупки группы (продажи с учетом продаж происходят вообще). Это твердый подход и концептуально значимый в контексте маркетинга и в экологическом контексте, который обсуждает Флетчер. Фактически, это может быть расширено до (в) изменения размера каждой покупки.

Вы можете обработать точное число нулей, неизвестное, но ограниченное между 0 и наблюдаемым количеством нулей. Это, безусловно, может быть выполнено с использованием байесовской формулировки модели. Возможно, метод множественного вменения также может быть изменен, чтобы соответствующим образом варьировать веса (между 0 и 1) нулевых наблюдений ...