При использовании этого теста обратите внимание, что многие пиксели / сценарии отслеживания рекламы (даже пиксели Google и пиксели Doubleclick (Google владеет Doubleclick)) могут быть заблокированы собственным файлом robots.txt, который вы не можете контролировать. Я видел это из первых рук на одном из своих сайтов - Google заблокировал свой собственный пиксель Doubleclick от сканирования роботом Google. Вы должны спросить себя: «Робот Google предназначен для идентификации контента на вашей странице, а не для отслеживания пиксельных трекеров. Даже собственные пиксели отслеживания Google блокируют свой собственный робот Google. Итак, почему я должен беспокоиться, если блокируются пиксельные трекеры?» И я вижу это также с пикселем Facebook тоже.
Однако, если вы управляете файлом robots.txt и не имеете ничего общего с отслеживанием пикселей, то, скорее всего, вам нужно заняться этим. Теперь, если у вас есть часть вашего сайта, предназначенная только для членов, или часть вашего сайта, предназначенная только для администраторов, и она связана с домашней страницы, то вы можете рассмотреть возможность скрытия ссылок или атрибутов ссылок nofollow, чтобы робот Google не попробуйте следить за этим на своей странице. Тем не менее, нужно спросить, хочет ли Google, чтобы вы разрешили роботу Google проходить раздел вашего сайта, предназначенный только для членов или администраторов, что, по моему мнению, скорее всего не так.
Это мое мнение, однако. Если мы не сможем заставить инженерную команду Google отреагировать, мы как-то нащупываем тьму и просто должны использовать нашу лучшую интуицию здравого смысла здесь.
wp-content
может вызвать эти проблемы. Ваш robots.txt выглядит хорошо для меня, хотя, по крайней мере, сейчас. Вы изменили это недавно?