Если у меня есть контент за формой POST (в моем случае это поле выбора), сможет ли робот Googlebot или другие поисковые роботы сканировать контент за этой формой?
Например, если бы у меня было 4 перевода одной страницы, и выбор языка представлял собой форму POST для того же URL-адреса, которая затем перенаправлялась на URL-адрес конкретного языка, сможет ли робот Googlebot сканировать «другие» языки?
Ответы:
Робот Google может отправлять формы , но обычно этого не происходит, если только он не может определить причину для этого.
Так что по ссылкам, если ваши переводы были в AJAX'е и построены правильно, робот Googlebot вполне может отправить форму, чтобы увидеть, каковы будут результаты. Однако такое поведение (особенно в POST) не гарантируется, и вам, вероятно, следует использовать GET, чтобы сделать вещи более доступными для роботов.
Бинг абсолютно делает. Прежде чем я сказал, что нет, он постоянно отправлял и форму контакта, и форму опроса. Я знал, что это был Bingbot, потому что я включил $ _SERVER ['HTTP_USER_AGENT'] в информацию $ _POST. Ни один другой паук никогда не отправлял эти формы.