Нашел ответ на свою проблему. Я выложу это здесь на случай, если моя глупость поможет кому-то другому. :-)
На самом деле у меня есть два веб-сервера AWS с балансировщиком нагрузки перед ними. Я обнаружил, что новый сертификат действительно хорошо отображается в браузере, если я попал на каждый веб-сервер напрямую, но потерпел неудачу, если перешел на «www» через балансировщик нагрузки.
Я забыл загрузить новые файлы сертификатов в балансировщик нагрузки через Консоль управления AWS. Эта страница описывает процесс:
Обновление SSL-сертификата для балансировщика нагрузки
Обратите внимание, что файлы с закрытым и открытым ключами, которые вы копируете и вставляете, должны быть в формате RSA. Эта веб-страница описывает, как конвертировать ваши файлы в этот формат, если это необходимо:
Ограничения AWS Load Balancer SSL
После всего этого браузер сразу отображает новый сертификат. Без задержки, без кеширования. Спасибо за комментарии выше в любом случае.