Как извлечь все внешние ссылки веб-страницы и сохранить их в файл?

11

Если у вас есть какие-либо инструменты командной строки, это было бы здорово.

linux command-line

— RogerioO
источник

18

Вам понадобятся 2 инструмента, lynx и awk , попробуйте это:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt

Если вам нужна нумерация строк, используйте команду nl , попробуйте это:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt

— Ielton
источник

Я не думаю, что это будет работать для относительных URL-адресов

— Шридхар Сарнобат

8

Вот улучшение ответа Лелтона: вам вообще не нужен awk, потому что у lynx есть несколько полезных опций.

lynx -listonly -nonumbers -dump http://www.google.com.br

если ты хочешь цифры

lynx -listonly -dump http://www.google.com.br

— Максимум
источник

0

Я бы порекомендовал Beautiful Soup по методам очистки экрана.

— Wesley
источник

0

если командная строка не является силой, вы можете использовать Скопировать все ссылки Firefox.

— Маджид Азими
источник