Wget: конвертировать ссылки и избежать повторной загрузки уже загруженных файлов?

12

Я загружаю данные, распределенные между несколькими файлами, которые не меняются после публикации.

Поэтому --timestampingон недостаточно хорош, потому что постоянно проверяет, какой ресурс изменяется, что в моем случае совершенно бессмысленно.

--no-clobberподошел бы идеально. К сожалению, --convert-links по какой-то причине это не работает .

Были указаны и --no-clobber, и --convert-links, будут использоваться только --convert-links.

Я надеялся, что --backup-convertedэто поможет, но это ничего не изменило (это работает для --timestamping.)

Почему wget --convert-links --backup-converted --no-clobber --wait 1 https://example.comигнорирует --no-clobberи как это можно исправить?

wget download

— восстанавливающая активность
источник

Попадание в ту же проблему сегодня. Как ты это решил?

— Анджело Фукс

1

@AngeloFuchs Я никогда не решал (я бы опубликовал ответ, если это произойдет). В конце концов, в моем случае повторная загрузка выбранных ссылок была проще, чем исправление wget или переключение на что-то другое.

— снижение активности

ты пробовал --continue? обычно это подразумевает продолжение загрузки, ранее прерванной. но если файл уже был получен, он ничего не делает.

— JPT

1

Любая возможность использования rsync? У вас должен быть ssh доступ к системе. (Я никогда не видел, чтобы rsync использовался для загрузок http: //).

Нечто подобное получит файлы, которые вы никогда не получали, и повторно заберет файлы, которые по какой-то причине перестали загружаться.

rsync -avzheP ssh root@192.168.0.100:/remotefolder/ /localfolder/

Это может не сработать для вас. Недостаточно информации о том, что вы пытаетесь сделать.

— Марк Стюарт
источник

-2

Вы не можете использовать оба --convert-linksи --no-clobber. Вы получите это сообщение:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetможете выполнить то, что вы хотите, если вы укажете --convert-linksи --timestamping. Но это будет работать только в том случае, если целевой сайт предоставляет информацию о метке времени файла в заголовках ответа.

— RashaMatt
источник

В этом ответе нет ничего, что не было упомянуто в самой первой редакции ( unix.stackexchange.com/posts/177330/revisions ) моего вопроса.

— снижение активности