Как скачать сайт с архива Wayway Machine?

84

Я хочу получить все файлы для данного сайта на archive.org. Причины могут включать в себя:

оригинальный автор не заархивировал свой собственный сайт и теперь он не в сети, я хочу сделать из него публичный кеш
Я оригинальный автор какого-то сайта и потерял часть контента. Я хочу восстановить это
...

Как мне это сделать ?

Принимая во внимание тот факт, что машина обратной передачи archive.org является очень особенной: ссылки на веб-страницы указывают не на сам архив, а на веб-страницу, которая может отсутствовать. JavaScript используется на стороне клиента для обновления ссылок, но такой трюк, как рекурсивный wget, не сработает.

archiving web

— user36520
источник

14

Я столкнулся с той же проблемой, и я кодировал драгоценный камень. Для установки: gem install wayback_machine_downloader. Запустите wayback_machine_downloader, указав в качестве параметра базовый URL-адрес веб-сайта, который вы хотите получить: wayback_machine_downloader http://example.comДополнительная информация: github.com/hartator/wayback_machine_downloader

— Hartator,

3

Пошаговая справка для пользователей Windows (win8.1 64bit для меня) новичок в Ruby, вот что я сделал, чтобы он заработал: 1) Я установил rubyinstaller.org/downloads, затем запустил "rubyinstaller-2.2.3-x64 .exe "2) скачал zip-файл github.com/hartator/wayback-machine-downloader/archive/… 3) разархивировал zip-файл на моем компьютере 4) поищите в меню« Пуск »Windows« Запустить командную строку с Ruby »(будет продолжение)

— Erb

3

5) следуйте инструкциям github.com/hartator/wayback_machine_downloader (например, .g: скопируйте и вставьте этот «gem install wayback_machine_downloader» в приглашение. Нажмите Enter, и он установит программу ... затем следуйте инструкциям «Использование»). 6) после захвата вашего сайта вы найдете файлы в C: \ Users \ YOURusername \ sites

— Erb

64

Я пробовал разные способы загрузки сайта и, наконец, нашел загрузчик машин обратного хода, о котором Хартатор упоминал ранее (так что все отзывы идут к нему, пожалуйста), но я просто не заметил его комментарий к вопросу. Чтобы сэкономить ваше время, я решил добавить гем wayback_machine_downloader в качестве отдельного ответа.

На сайте http://www.archiveteam.org/index.php?title=Restoring перечислены следующие способы загрузки с archive.org:

Wayback Machine Downloader , небольшой инструмент в Ruby для загрузки любого веб-сайта с Wayback Machine. Бесплатный и с открытым исходным кодом. Мой выбор!
Уоррик - Главный сайт, кажется, не работает.
Wayback Downloader , сервис, который загрузит ваш сайт с Wayback Machine и даже добавит плагин для Wordpress. Не бесплатно.

— Comic Sans
источник

я также написал «wayback downloader», в php, загрузке ресурсов, настройке ссылок и т.д .: gist.github.com/divinity76/85c01de416c541578342580997fa6acf

— hanshenrik

@ComicSans, на странице, которую вы связали, что такое захват команды архивов ??

— Пейсер

1

Октябрь 2018 года, Wayback Machine Downloader все еще работает.

— Этот бразильский парень

@Pacerier это означает (наборы) WARC-файлов, созданных Archive Team (и обычно поступающих на машину обратного хода Internet Archive), см. Archive.org/details/archiveteam

— Nemo

13

Это можно сделать с помощью сценария оболочки bash в сочетании сwget .

Идея состоит в том, чтобы использовать некоторые функции URL машины обратного хода:

http://web.archive.org/web/*/http://domain/*перечислит все сохраненные страницы из http://domain/рекурсивно. Его можно использовать для создания индекса страниц для загрузки и избежать эвристики для обнаружения ссылок на веб-страницах. Для каждой ссылки есть также дата первой версии и последней версии.
http://web.archive.org/web/YYYYMMDDhhmmss*/http://domain/pageПеречислю все версии http://domain/pageза год ГГГГ. На этой странице можно найти конкретные ссылки на версии (с точной отметкой времени)
http://web.archive.org/web/YYYYMMDDhhmmssid_/http://domain/pageвернет неизмененную страницу http://domain/pageв указанное время. Обратите внимание на токен id_ .

Это основы для создания скрипта для загрузки всего из заданного домена.

— user36520
источник

7

Вы должны действительно использовать API вместо этого archive.org/help/wayback_api.php Страницы справки Википедии предназначены для редакторов, а не для широкой публики. Так что эта страница ориентирована на графический интерфейс, который заменен и не подходит для этой задачи.

— Немо

Вероятно, было бы проще просто сказать, взять URL (например http://web.archive.org/web/19981202230410/http://www.google.com/) и добавить id_в конце «числа даты». Тогда вы получите что-то вроде http://web.archive.org/web/19981202230410id_/http://www.google.com/.

— Айкам

1

Сценарий Python также можно найти здесь: gist.github.com/ingamedeo/…

— Амедео Бараджиола

4

Для этой цели специально разработан инструмент Warrick: https://code.google.com/p/warrick/.

Он основан на протоколе Memento.

— Nemo
источник

3

Насколько мне удалось использовать это (в мае 2017 года), он просто восстанавливает то, что хранит archive.is, и в значительной степени игнорирует то, что находится на archive.org; он также пытается получить документы и изображения из кешей Google / Yahoo, но терпит неудачу. Уоррик несколько раз клонировался на GitHub с момента закрытия Google Code, возможно, есть несколько лучших версий.

— Гвинет Ллевелин

0

Вы можете сделать это легко с wget.

wget -rc --accept-regex '.*ROOT.*' START

Где ROOTнаходится корневой URL веб-сайта и STARTначальный URL. Например:

wget -rc --accept-regex '.*http://www.math.niu.edu/~rusin/known-math/.*' http://web.archive.org/web/20150415082949fw_/http://www.math.niu.edu/~rusin/known-math/

Обратите внимание, что вы должны обойти рамку переноса веб-архива для STARTURL. В большинстве браузеров вы можете щелкнуть правой кнопкой мыши на странице и выбрать «Показать только этот кадр».

— jcoffland
источник