Почему Google прекратил индексирование страниц из нашего sitemap.xml?

Мы видим некоторые страницы, которые существуют в нашей, sitemap.xmlно необъяснимо отсутствуют в общедоступном поисковом индексе Google.

Вы не можете скачать /superuser//sitemap.xml - мы защищаем этот файл, потому что в прошлом были проблемы с ним - но googlebot может. С помощью Инструментов Google для веб-мастеров мы убедились, что сегодня sitemap.xmlфайл был удален и имеет рейтинг «ОК», ошибок нет (зеленая галочка).

sitemap.xmlСодержит список последних 50000 вопросов на нашем сайте , которые были заданы. Например, этот вопрос ...

/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links

... существует в sitemap.xmlвиде ...

<url>
<loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>

Поиск по «Как увидеть конец длинной цепочки символических ссылок» дает только один результат для questionhub.com, который очищает наши данные (совсем другая проблема).

Вы можете увеличить число подсчета вопросов и выполнить точный поиск заголовка вопроса, и вы увидите, что этот шаблон сохраняется.

Эти URL-адреса находятся в файле sitemap.xml, но они не отображаются в индексе Google - и тем не менее они отображаются на сайтах, которые очищают данные о наших объявлениях. С чего бы это?

Похоже, что на этой неделе у Google возникли проблемы с техническим сканированием, которые удивительно похожи на то, что мы испытывали:

http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701

Кажется, никто не застрахован от проблемы индексации Google, которая ставит в тупик многих владельцев сайтов. Блоги и сайты, большие и маленькие, индексируются не так быстро, как обычно - если они вообще индексируются.

...

Джон из Google ответил на ветку на форумах для веб-мастеров, сказав:

Просто чтобы прояснить, проблемы из этой ветки, которые я подробно рассмотрел, не связаны с изменениями в нашей политике или изменениями в наших алгоритмах; они связаны с технической проблемой на нашей стороне, которая будет визуально разрешена в кратчайшие сроки (хотя может потребоваться до нескольких дней, чтобы быть видимой для всех сайтов)

Google не делает никаких предложений и не гарантирует, что страницы в карте сайта будут проиндексированы.

По моему опыту, страница должна быть связана (со страницы какого-либо авторитета), чтобы появиться. Связана ли эта страница / вопрос прямо / косвенно со страницы с определенными правами?

Например, если домашняя страница superuser.com (предположительно, с множеством ссылок) имеет прямую ссылку на этот вопрос или косвенную ссылку на него через ряд других страниц, то можно ожидать, что он будет проиндексирован.

От Google:

Google не гарантирует, что мы будем сканировать или индексировать все ваши URL. Однако мы используем данные в вашем файле Sitemap, чтобы узнать о структуре вашего сайта, что позволит нам улучшить наш график сканирования и улучшить работу по сканированию вашего сайта в будущем. В большинстве случаев веб-мастера получат выгоду от отправки файла Sitemap, и ни в коем случае вы не будете оштрафованы за это.

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184

Я думаю, что Google может быть трудно индексировать ваши веб-страницы, 50.000 много. Так что мое предложение будет разбить вашу карту сайта на куски, как это

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>

Если вы потерпите неудачу, вам повезет, если эти 50 000 URL будут проиндексированы.

Sitemaps.org объяснение проблемы

Вы можете предоставить несколько файлов Sitemap, но каждый предоставленный вами файл Sitemap должен содержать не более 50 000 URL-адресов и не должен превышать 10 МБ (10 485 760 байт). При желании вы можете сжать файлы Sitemap с помощью gzip, чтобы уменьшить требования к пропускной способности; однако файл Sitemap после распаковки не должен превышать 10 МБ. Если вы хотите перечислить более 50 000 URL-адресов, необходимо создать несколько файлов Sitemap.

Если вы предоставляете несколько файлов Sitemap, вам следует перечислить каждый файл Sitemap в индексном файле Sitemap. Индексные файлы Sitemap могут содержать не более 50 000 файлов Sitemap, их размер не должен превышать 10 МБ (10 485 760 байт), и их можно сжать. Вы можете иметь более одного файла индекса Sitemap. Формат XML файла индекса Sitemap очень похож на формат XML файла Sitemap.

http://sitemaps.org/protocol.php

Похоже, что Google заявляет, что 46 514 представленных ссылок находятся в индексе. Может ли это быть проблемой с (я ненавижу это говорить), но рейтинг страницы? Соскребающие сайты лучше справляются с перекрестными ссылками и т. Д., И их рейтинг выше. Просто мысль.

Этот поисковый сайт: superuser.com Как видно, конец длинной цепочки символических ссылок также корректно выбирает ваш sitemap.xml, хотя и не возвращает ожидаемых результатов.

С этим типом вещей есть много потенциальных ответов.

Я бы начал с вопроса о том, сколько страниц на самом деле у вас есть. (Вы отправили 50 000 URL-адресов на быстрый сайт: superuser.com показывают 125 000 проиндексированных. Как вы думаете, у вас есть только 50 000 URL-адресов и вы отправляете их все, а Google находит 2-3 копии каждой страницы? Или, может быть, у вас 1 млн. URL-адресов и только 12,5? % индексируются) получение общей картины помогает определить, где искать проблемы.

Если в первом шаге нет ничего плохого, я бы перешел к контенту, похоже, что у QH гораздо больше контента на их странице и есть ссылки на многие другие «ресурсы», несмотря на то, что весь их контент очищен, возможно, Google считает, что их страница более полезна, так как они предоставляют больше ресурсов / информации для пользователя. Если они считаются авторитетными, а весь ваш контент совпадает с их содержанием, возможно, Google не будет индексировать ваш, даже если вы оригинал.

Если вы уверены, что это не проблема, создайте несколько высококачественных ссылок на него, опубликуйте этот вопрос в некоторых популярных блогах сотрудников или попросите друзей рассказать об этом в блоге, возможно, если у вас есть SEO-друзья, которые ведут популярные блоги, они написали бы тематическое исследование об этом и т. д.

Если вы получаете много сильных ссылок, и они по-прежнему не индексируются, ищите причины, по которым они могут быть оштрафованы (в большинстве случаев это не проблема, но проверка никогда не повредит).

Если ничего из этого не работает, то 9 раз из 10 это простая техническая проблема, которую упустили из виду (исключение роботов или что-то подобное).

Если у вас все еще нет ответа после того, как вы пройдете через это, спросите Google и надеемся, что они ответят вам.

Вчера был задан вопрос - дайте гуглботу шанс, вы не единственный сайт в интернете, на который он должен ползти, вы знаете :)

Если вопросы обычно индексируются в течение дня или около того, и проходит неделя, а тот все еще не индексируется, то я могу быть обеспокоен. Но, конечно, не через 1 день.