Если вас когда-либо укусило обновление плагина, которое нарушало некоторые функциональные возможности, вы должны были задуматься над этой проблемой: какой должна быть политика обновления плагинов Jenkins? Как вы тестируете изменения перед их развертыванием?
Кто-нибудь зашел так далеко, что на тестовом экземпляре выполнялись фиктивные задания для тестирования новых версий, или вы просто молитесь, чтобы обновление версий ничего не сломало?