Недавно у меня был хак, который добавил несколько тысяч поддельных страниц на мой сайт.
Я отправил исправленную карту сайта в консоль поиска Google (ранее называвшуюся Инструментами для веб-мастеров) и перевернул все ссылки на 410, но большинство из них в Google все еще проиндексировано.
Я использовал Инструменты WebMaster - Массовое удаление URL-адресов Расширение Chrome для автоматической отправки URL-адресов для удаления. Это в основном скрипт, который берет список URL-адресов и затем отправляет их вам, по одному за раз. Чтобы отправить их все, понадобятся часы, но, по крайней мере, вам не придется делать это самостоятельно. Вот статья о том, как его использовать .
Вы можете получить список URL-адресов, которые индексирует Google, загрузив данные непосредственно из консоли поиска. Перейдите в Status> Index Coverage и выберите действительные результаты, затем прокрутите вниз. Вы увидите, что Google проиндексировал тонну URL-адресов, которых нет в вашей карте сайта. Вы можете скачать первые 1000 результатов. Очевидно, существует обходной способ получить их все, не только первую тысячу, но и использовать вызовы API из Excel. Я просто ждал несколько дней между каждой тысячей, поскольку они медленно выпадали из индекса.
Другой путь заключается в том, чтобы плагин WP создал карту сайта, а затем отфильтровал PDF-файлы или что-то еще, на что вы нацелены. Вам, вероятно, придется немного скопировать / вставить / удалить вручную. На всякий случай я медленно прокрутил список из 2700 спам-адресов и удалил допустимые. Это заняло всего около 20 минут.
Если вы не пытаетесь навсегда уничтожить что-либо, например, спам, и вместо этого пытаетесь запутать премиальные ресурсы, вам следует использовать другие методы для предотвращения индексации этих ресурсов, такие как файл роботов. Но если окажется, что Google не слушал или вы бросили мяч, по крайней мере, теперь вы можете исправить проблему и удалить их из индекса всего за несколько дней.
В моих конкретных обстоятельствах мне интересно, почему у Google нет ни кнопки времени, ни отмены, ни сброса. Идея заключается в том, что я могу сообщить Google, что сайт был взломан несколько дней назад, но мы его исправили, поэтому отменили последние x дней сканирования и индексации. Но это было бы слишком просто.