5
Сканирующий сайт / паук, чтобы получить карту сайта [закрыто]
Мне нужно получить целую карту сайта в формате, подобном: http://example.org/ http://example.org/product/ http://example.org/service/ http://example.org/about/ http://example.org/product/viewproduct/ Мне нужно, чтобы он был основан на ссылках (без файла или dir brute-force), например: разобрать домашнюю страницу -> получить все ссылки -> изучить их -> получить ссылки, ... И мне также нужна возможность определить, является ли …