Предотвращение сбоя выборки по важности по Парето (PSIS-LOO)

Недавно я начал использовать перекрестную проверку сглаживания важности по Парето (PSIS-LOO), описанную в следующих статьях:

• Vehtari, A. & Gelman, A. (2015). Парето сгладил важность выборки. Препринт arXiv ( ссылка ).
• Вехтари А., Гельман А. и Габри Дж. (2016). Практическая оценка байесовской модели с использованием кросс-проверки без участия и WAIC. Препринт arXiv ( ссылка )

Это представляет собой очень заманчивый подход к оценке модели вне выборки, поскольку он позволяет выполнять LOO-CV за один прогон MCMC, и он, как утверждается, лучше, чем существующие информационные критерии, такие как WAIC.

$\hat{k}_i$$\hat{k}_i \gtrsim 0.7$

К сожалению, я обнаружил, что, применяя этот метод к моей проблеме, для большинства моделей, представляющих интерес, я обнаружил, что большая доля . Неудивительно, что некоторые из зарегистрированных логарифмических правдоподобий LOO были совершенно бессмысленными (по сравнению с другими наборами данных). В качестве двойной проверки я выполнил традиционную (и трудоемкую) 10-кратную перекрестную проверку, обнаружив, что действительно в приведенном выше случае PSIS-LOO давал ужасно неправильные результаты (с другой стороны, результаты были в очень хорошем согласии с 10). кратное резюме для моделей, в которых все ). Для записи, я использую реализацию PSIS-LOO от MATLAB от Aki Vehtari.$\hat{k}_i \gg 0.7$$\hat{k}_i \ll 0.7$

Возможно, мне просто очень не повезло в том, что моя текущая и первая проблема, в которой я применяю этот метод, «трудна» для PSIS-LOO, но я подозреваю, что этот случай может быть относительно распространенным. В таких случаях, как мой, газета Vehtary, Gelman & Gabry просто говорит:

Даже если оценка PSIS имеет конечную дисперсию, когда , пользователь должен рассмотреть выборку непосредственно из для проблемного , используйте кратное перекрестное проверки или используйте более надежную модель.$\hat{k} > 0.7$$p(\theta^s |y_{−i})$$i$$k$

Это очевидные, но не совсем идеальные решения, так как они все требуют много времени или требуют дополнительных действий (я ценю, что MCMC и оценка моделей - это все, что нужно, но чем меньше, тем лучше).

Есть ли какой-либо общий метод, который мы можем применить заранее, чтобы попытаться предотвратить сбой PSIS-LOO? У меня есть несколько предварительных идей, но мне интересно, есть ли уже эмпирическое решение, которое люди принимают.

Для записи, я отправил аналогичный вопрос в список рассылки пользователей Stan , который вы можете найти здесь . Мне ответил один из авторов оригинальной статьи PSIS-LOO и другие авторы Стэна. Далее следует мое личное резюме.

Краткий ответ: нет известных общих методов предотвращения сбоя PSIS-LOO. Если PSIS-LOO выходит из строя, это обычно происходит из- за проблем с моделью , и исправление ее обязательно остается за пользователем.

В частности, причина, по которой PSIS-LOO может потерпеть неудачу, обычно заключается в том, что одно или несколько распределений LOO смещены и / или шире, чем полный апостериор, вероятно из-за влиятельных наблюдений, а распределение выборки по важности падает до одной или нескольких точек.

Я думал, что вы могли бы попытаться использовать некоторую форму параллельного апостериорного подхода для решения этой проблемы. Идея не обязательно ошибочна, но мне было указано, что:

• задний отпуск в учебнике по-прежнему требует большого количества индивидуальной проверки, чтобы найти правильный уровень (уровни) температуры, поскольку не существует ни очевидного, ни известного способа сделать это (кстати, по этой причине Стэн не включает параллельный отпуск);
• если вы используете более двух температурных уровней (поскольку может потребоваться надежный подход), конечная вычислительная стоимость приближается к стоимости перекрестной проверки в K-кратном выражении или к запуску MCMC на проблемных распределениях LOO.

Короче говоря, в случае сбоя PSIS-LOO трудно найти такой же надежный и общий метод, как другие простые исправления; Вот почему Vehtari, Gelman & Gabry предложили эти методы в соответствии с цитатой, которую я разместил в своем первоначальном вопросе.