Вопросы с тегом «internet-archive»

2
Контроль над интернет-архивом кроме просто «Запретить /»?
Существуют ли механизмы контроля того, что архивы интернет-архива на сайте? Я знаю, чтобы запретить все страницы, которые я мог бы добавить : User-agent: ia_archiver Disallow: / Могу ли я сообщить боту, что я хочу, чтобы он сканировал мой сайт один раз в месяц или раз в год? У меня есть …

6
Как правильно (де) разрешить боту archive.org? Изменились ли вещи, если и когда?
У меня есть веб-сайт, который я не хочу индексировать поисковыми системами, но я хочу сохранить его навеки на сайте archive.org. Итак, мой robots.txtначинается с этого: User-agent: * Disallow: / Сегодня, согласно archive.org, я должен добавить следующее в мои, robots.txtчтобы позволить их ботам: User-agent: ia_archiver Disallow: Но я уже сделал то, …
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.