Итак, у меня есть сайты и блоги Wordpress, которые ссылаются на множество полезных сайтов, таких как веб-страницы профессоров и другие блоги Wordpress. Однако я не хочу, чтобы они знали о моих сайтах или блогах WordPress. Есть ли способ помешать им увидеть их, если они проверит входящие ссылки своего сайта? Будет ли robots.txt работать?
О, я просто подумал об идее. Будет ли работать ссылка через bit.ly или tinyURL?
—
InquilineKea
Поле HTTP-Referer устанавливается и передается браузером.
—
LawrenceC
robots.txt
предназначен для использования браузером или клиентом, но его соблюдение является добровольным и robots.txt
не предусматривает указание браузеру не передавать заголовок HTTP-Referer. Даже если бы это было возможно, полагаться на это было бы плохой идеей, так как вы зависите от браузера, но вы не можете заставить его это сделать.