7
Как быть хорошим гражданином при сканировании веб-сайтов?
Я собираюсь разработать некоторую функциональность, которая будет сканировать различные публичные веб-сайты и обрабатывать / собирать данные на них. Ничто так не зловеще, как поиск адресов электронной почты - на самом деле это то, что может фактически привлечь дополнительный трафик на их сайты. Но я отвлекся. Существуют robots.txtли какие-либо правила или …