Как избежать соскоба?

У нас есть база данных с возможностью поиска (БД), мы ограничиваем результаты до 15 на страницу, и только 100 результатов все же заставляют людей пытаться очистить сайт.

Мы запрещаем сайты, которые поразили его достаточно быстро. Мне было интересно, есть ли что-нибудь еще, что мы можем сделать. Flash рендеринг результатов может быть?

Вы можете сделать это немного сложнее, извлекая записи через AJAX и используя идентификатор аутентификации (например, ключ API) для вызовов AJAX.

Конечно, вы можете обойти это, прочитав ID, а затем сделав запрос AJAX, используя это.

Рендеринг с Flash является альтернативой, как вы указали (хотя все еще не 100% неразборчиво), как и рендеринг в PDF.

Поскольку, очевидно, существует спрос на вашу базу данных, вы задумывались о том, чтобы перевернуть ее и предоставить то, что хотят скребки? Формировать деловую связь со скребками и поощрять правильное использование с API?

Есть некоторая полезная информация в разделе Как вы не позволяете сценаристам захлопывать ваш сайт сотни раз в секунду?

Не существует технологического решения, которое не позволяло бы заинтересованному лицу очищать ваш общедоступный контент.

Однако вы можете на законных основаниях защитить свою интеллектуальную собственность:

• Обеспечение того, чтобы ваш сайт имел четко обозначенные авторские права
• Размещение Условий обслуживания в нижнем колонтитуле, который явно запрещает перескакивать
• Рассмотрите возможность встраивания цифрового водяного знака во все содержимое вашего сайта. Не забывайте, что текст также может быть водяным знаком!

Как насчет настройки аутентификации (и, возможно, капчи), отслеживания использования и ограничения доступа к какому-либо количеству записей или поисков для определенного периода времени?

Вы, вероятно, обнаружите, что скребки улучшат их, поскольку вы применяете различные методы. Возможно, есть способ проанализировать поведение пользователей, которые анализируют и представляют капчу или другие нарушения? Возможно, вы могли бы ограничить результаты меньшим числом в течение определенного периода времени, чтобы заставить скребки ждать 10 дней. Если они не входят в систему между ними, тогда предположите, что они писатели?

Что бы вы ни делали, обязательно перепутайте свои приемы, чтобы продлить их жизнь.

Вы должны учитывать, что скребки могут не использовать ваши веб-страницы и формы, они могут просто звонить на ваш сайт на уровне http.

Я думаю, что лучшим решением было бы бросить ловушку после того, как IP-адрес запрашивает больше, чем определенный порог запроса.

Вы должны быть ОЧЕНЬ осторожны, чтобы не повлиять на масштабируемость приложения для реальных пользователей.

Ограничение объема данных на странице, как вы описываете в вопросе, только увеличит количество запросов, которые клиенты будут отправлять на ваш сервер.