Как сканировать свой собственный сайт, чтобы сохранить в кеш

Я использую Squid , программу для кеширования, для кеширования моего сайта. Однако для этого необходимо, чтобы к каждой странице обращались как минимум один раз, прежде чем Squid сможет ее кешировать. У меня вопрос: есть ли программа, которая будет быстро сканировать мой веб-сайт, получать доступ ко всем страницам один раз, чтобы Squid мог их кешировать.

ура

cache squid web-crawler

— user2028856
источник

Вы можете использовать wget для этого. После установки http_proxyпеременной окружения, указывающей на ваш прокси, запустите ее с параметрами, подобными приведенным ниже (команды linux ниже).

export http_proxy=http://127.0.0.1:3128/

wget --cache=off --delete-after -m http://www.mywebsite.org

— Брайан
источник

Для команды export http_proxyэто постоянная настройка для направления всего будущего доступа в Интернет через порт прокси? Также для второй команды, что именно она делает? Я не собираюсь загружать свой веб-сайт «Я», если использую эту команду

— user2028856

Пока он установлен, большинство команд в стиле Unix будет использовать прокси-сервер yes. Команда wget загрузит ваш веб-сайт (-m для зеркала), но впоследствии удалит локальную копию (--delete-after). Конечный результат - вы перетащили свой сайт через прокси. Параметр --cache = off означает не брать данные из кэша squid, а получать их с веб-сервера (полезно для удаления устаревших страниц из прокси-кэша squid).

— Брайан

@ user2028856 exportбудет действовать только на время этой командной оболочки и только внутри этой командной оболочки. Другие оболочки не будут затронуты, если они не запущены из оболочки, в которой вы работали export. Так что просто exitиз оболочки или закройте окно терминала / командной строки, когда wget завершит работу, и все вернется на круги своя.

— CVn

Я хотел бы установить постоянную настройку для этого сервера, чтобы все будущие исходящие соединения проходили через прокси-сервер, какие настройки мне нужно изменить, чтобы это произошло?

— user2028856