Вопросы с тегом «internet-archive»

Существуют ли механизмы контроля того, что архивы интернет-архива на сайте? Я знаю, чтобы запретить все страницы, которые я мог бы добавить : User-agent: ia_archiver Disallow: / Могу ли я сообщить боту, что я хочу, чтобы он сканировал мой сайт один раз в месяц или раз в год? У меня есть …

13 cache  internet-archive 

У меня есть веб-сайт, который я не хочу индексировать поисковыми системами, но я хочу сохранить его навеки на сайте archive.org. Итак, мой robots.txtначинается с этого: User-agent: * Disallow: / Сегодня, согласно archive.org, я должен добавить следующее в мои, robots.txtчтобы позволить их ботам: User-agent: ia_archiver Disallow: Но я уже сделал то, …

10 web-crawlers  robots.txt  internet-archive