Когда вы перемещаете сайт с помощью перенаправления 301, вы должны настроить robots.txt, запрещающий роботам сканировать старый адрес?

8

Сайт, над которым я работаю, переместил поддомен в другой поддомен с помощью перенаправления 301. Однако при проверке файла robots.txt старого поддоменов у него есть файл robots.txt, который запрещает поисковым роботам сканировать его.

Это правильный ход? Я считаю, что нет, потому что сканеры не смогут сканировать старый сайт, чтобы увидеть коды статуса 301.

seo redirects robots.txt

— коврик
источник

3

Был ли запрет уже на месте до переезда? Некоторые сайты не хотят быть в поисковых системах. Неясно, каким образом ситуация разыгралась.

— user64742

11

Ваши подозрения верны, с точным обоснованием, которое вы упомянули. Если вы запретите роботам получать доступ к старому сайту, они не смогут увидеть перенаправление 301.

— Тео ван дер Зее
источник

Означает ли это также, что сок ссылок, который указывал на старый домен, не будет перенесен в новый домен, потому что robots.txt не позволяет сканировать Gbot?

— коврик мальчик

1

Да, это именно то, что произойдет, если robots.txt блокирует доступ к ботам.

— Тео ван дер Зее

5

Я считаю, что нет, потому что сканеры не смогут сканировать старый сайт, чтобы увидеть коды статуса 301.

Да, именно - это не «правильный ход». Если вы реализуете перенаправление 301, предположительно для сохранения SEO, то блокирование перенаправляемых URL-адресов приведет к тому, что поисковые системы не увидят перенаправление и не проиндексируют новый контент.

— DOCROOT
источник

Означает ли это также, что сок ссылок, который указывал на старый домен, не будет перенесен в новый домен, потому что robots.txt не позволяет сканировать Gbot?

— коврик мальчик

@mat boy, "ссылочный сок" редко обновляется, если когда-либо. Он вряд ли когда-либо будет обновлен до нового домена с файлом robots.txt или без него, но сохранение 301 на неопределенный срок гарантирует, что ссылки окажутся в нужном месте.

— Осьминог

1

@ Осьминог Вы, кажется, описываете «PageRank», а не «сок ссылок»? «ссылочный сок» - это просто общий / сленговый термин, описывающий пользу SEO от ссылок на одну страницу на другую.

— DocRoot

1

@matboy Да, все верно, «сок ссылок» не будет перенесен на новый URL. Поскольку бот заблокирован от просмотра перенаправления, бот (поисковая система) не знает, что страница была перемещена в другое место. Старые URL-адреса упадут в поисковой выдаче и в конечном итоге исчезнут, в то время как новые URL-адреса должны будут создать свой SEO с нуля.

— DocRoot

0

Я бы сохранил robots.txt как есть, но убедитесь, что на старых и новых страницах есть соответствующая версия тегов Canonical. Это поможет поисковой системе понять, что произошло.

— Джейсон
источник

2

Как сканеры могут читать канонические теги на веб-странице, если вы говорите им не сканировать веб-страницу?

— коврик мальчик