Вопросы с тегом «robots.txt»

В robots.txt я могу написать следующий относительный URL для файла карты сайта? sitemap: /sitemap.ashx Или я должен использовать полный (абсолютный) URL для файла карты сайта, например: sitemap: http://subdomain.domain.com/sitemap.ashx Почему мне интересно У меня есть новый сервис блогов, www.domain.com, который позволяет пользователям вести блог на accountname.domain.com. Я использую подстановочные знаки, поэтому …

191 seo  sitemap  robots.txt 

My robots.txtв Инструментах Google для веб-мастеров показывает следующие значения: User-agent: * Allow: / Что это означает? У меня недостаточно знаний об этом, поэтому ищу вашу помощь. Я хочу разрешить всем роботам сканировать мой веб-сайт, это правильная конфигурация?

116 robots.txt 

Есть ли какое-нибудь умное решение для хранения статических файлов в корневом каталоге приложения Flask. Ожидается, что robots.txt и sitemap.xml находятся в /, поэтому я решил создать для них маршруты: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response Должно быть что-то удобнее :)

94 python  flask  static  mod-wsgi  robots.txt