Как получить ТБ данных на новый веб-сервер?

31

У меня есть ТБ сжатых медиа-файлов, которые мне нужно срочно получить на удаленном веб-сервере. (из моего офиса)

Наша скорость загрузки составляет всего 500 КБ / с, что предполагает ~ 23 дня загрузки.

Новая хостинговая компания не принимает диски по почте.

Есть ли хорошее место, чтобы пойти в крупных районах метро, чтобы одолжить толстую трубу?

transfer data

10

Я знаю, что это не ответ, или даже особенно полезный, но если ваша новая хостинговая компания не желает работать с вами над этим, вам нужно найти новую новую хостинговую компанию. Непринятие диска от клиента (за плату, конечно) довольно отстойно.

— voretaq7

Проверьте мой ответ, что это компания по хранению данных в Талсе

— Anagio

Здесь есть хорошие ответы, но разве это не должно быть перенесено в ServerFault?

— Марк Херд

1

Возможно, но я рассматриваю ошибку сервера как место для обсуждения конфигурации аппаратного и программного обеспечения, в то время как это использование всего, что есть в распоряжении веб-мастеров, для решения более сложной задачи

— Брайан Вебстер

16

Я бы связался с некоторыми из ваших локальных дата-центров (хостинг в стойке, провайдеры управляемых услуг и т. Д.) И узнал бы об аренде виртуальной машины или виртуальной машины на день или два. Просто убедитесь, что они позволяют вам ввести диск для начальной передачи, и они знают о ваших потребностях в пропускной способности.

Вы также можете просто спросить, будут ли они просто помогать вам с загрузкой. Они часто бывают оппортунистическими, изобретательными и могут быть готовы предоставить вам шанс получить часть своего бизнеса.

— InChargeOfIT
источник

3

Также есть опция удаленного дата-центра: Amazon AWS! Поставьте им жесткие диски, и они начисляют (на момент написания статьи) 80 долл. За устройство, плюс 2,50 долл. За час загрузки данных, плюс сколько стоит хранение данных до тех пор, пока они находятся в AWS, плюс передача данных. Возможно, не самый привлекательный вариант, но просто выбросить его туда.

Это приятно знать. Мы используем AWS довольно много! Вы знаете, где я могу прочитать об этой услуге? Трудно найти в Google (по крайней мере, ключевые слова, которые я использую)

— Брайан Вебстер

1

aws.amazon.com/importexport

— Рич

11

Вы могли бы, если у вас есть друзья или сотрудники, желающие протянуть руку помощи со своим домашним подключением, настроить торрент для большого файла и настроить своих сотрудников / друзей в качестве начальных значений. Конечно, вам нужно будет корзину и скопировать файл для всех. Даже тогда вы можете разбить файл на .rars и сделать так, чтобы «команды» отправляли части (следя за тем, чтобы они не загружали файлы, которых у них нет). Толпы источников ftw!

— Люк
источник

3

Это будет особенно эффективно, если у вас есть друзья, которые учатся в колледже. Мало того, что у них есть доступ к хорошим высокоскоростным соединениям с университетами, но им будет несложно попросить пару друзей в разных общежитиях помочь с загрузкой.

— Lèse Majesté

7

Найдите регионального интернет-провайдера, который находится в местной собственности, и принесите хороший толстый внешний диск, который может вместить все это. Войдите в их офис с 300 долларов наличными, учетными данными для вашего сервера и 12 пакетами пива. Молитесь, чтобы у них был гигабитный канал связи, потому что максимальная 100-битная скорость займет у вас более 24 часов.

Если это не удалось, поищите локальный интернет-обменный пункт и найдите все AS, которые к нему подключены. Подружитесь с кем-нибудь из NANOG. Скорее всего, вам нужно быть творческим. Попробуйте найти любое место рядом с вами.

— Джефф Ферланд
источник

2

Это путь, который я бы выбрал. Пиво имеет тенденцию смазывать деловое взаимодействие.

— Эвик Джеймс

1

Я думаю, что это, пожалуй, лучшее решение пути наименьшего сопротивления здесь.

— Иеремия

5

Если файлы представляют собой текстовые файлы или иным образом сжимаются, вы можете сжать их перед загрузкой, что может уменьшить размер файла до 90%. Затем вы можете распаковать их на сервере.

Вы также можете попробовать разделить загрузку между несколькими местоположениями. Каждый из них может дать вам максимальную скорость.

— Джон Конде
источник

4

Получите временную хостинговую компанию, куда вы можете отправить свой диск по почте, а затем быстрее перейти с временного хоста на постоянный хост.

— xpda
источник

3

Или просто переключитесь на веб-хостинг, который принимает диски по почте. Большинство веб-хостов с достойным обслуживанием клиентов позволят это.

— Lèse Majesté

Я предполагаю, что текущая хостинговая компания была выбрана из-за цены или других долгосрочных критериев, и было бы дороже менять на постоянной основе.

— xpda

4

Эти ребята находятся в Талсе, что у вас есть в вашем профиле, поэтому, если вы находитесь в этом районе, позвоните им или зайдите и сообщите им о вашей ситуации.

http://www.datastorageinc.com/

— Anagio
источник

3

Я просто хочу добавить к существующим ответам что-то, что может улучшить вашу передачу, как только вы подключите жесткий диск к серверу с хорошей пропускной способностью.

Мне нужно было несколько раз передавать большие объемы данных между двумя веб-серверами, и вместо того, чтобы использовать обычные команды FTP или WGET для загрузки или выгрузки данных, я использовал команду Linux SCP. Вы можете найти больше информации здесь: http://www.go2linux.org/scp-linux-command-line-copy-files-over-ssh

Вам потребуется SSH-доступ к обоим серверам, а затем вы можете скопировать один или несколько файлов рекурсивно.

Итак, если у вас есть только большие файлы вместо множества маленьких, я думаю, что они будут копироваться достаточно быстро.

При скорости передачи данных между серверами 11 МБ / с передача будет длиться около 25 часов.

Удачи! ;)

— Александру Трандафир Каталин2
источник

1

Еще лучше, используйте rsync, если целевой хост поддерживает это. (Многие делают.)

— Илмари Каронен

3

http://aws.amazon.com/importexport/

Отправьте ваше устройство в AWS, и они позаботятся обо всем остальном.

— subiet
источник

«... и они позаботятся обо всем остальном» - нет, не будут, если только вы не выберете AWS. Если это не так, то они будут только передавать данные в корзину S3. И именно вам нужно доставить его из корзины S3 в место хранения, и в этом случае он совпадает с ответом xpda.

— Lèse Majesté

2

О, конечно, я должен был прокомментировать, как Рич сделал (не был там к тому времени, когда я написал) на ответ InChargeOfIt. Поскольку Hamlin11 особенно проявил интерес к решению AWS и искал ссылку для этого сервиса, я разместил его. Комментарий там был бы более уместным, я согласен.

— subiet

Ну, я думаю, что если вы сможете отредактировать ответ, чтобы привязать его к этому комментарию, и заметьте, что для не-AWS-адресатов вам просто нужно инициировать передачу с сервера на сервер впоследствии, используя очень толстый канал Amazon, это все равно будь хорошим ответом.

— Lèse Majesté

1

Если данные находятся в вашем офисе на медленном соединении, вы находитесь в рассоле. Если данные на вашем старом хосте или находятся на нем, вы можете попробовать перенести их с сервера на сервер. Использование ISP-труб вместо вашей жесткой офисной трубы.

Если бы вы делали это порциями через wget из ssh, это было бы чертовски быстро, чем отправка диска для установки. Тем не менее, мне никогда не приходилось перемещать более 250 ГБ.

— Брайан
источник

Срочность вопроса возникла из-за катастрофического простоя на «старом хосте». У нас не было хоста горячего резервирования, но у нас были локальные резервные копии.

— Брайан Вебстер

0

Как показывают другие вопросы, в основном все сводится к тому, чтобы найти кого-то вокруг вас с хорошей связью.

Одна группа, с которой вы могли бы поговорить, это администрация университета или колледжа. Просто убедитесь, что парень, с которым вы разговариваете, имеет право разрешить вам передавать туберкулез через провод, и я уверен, что вы сможете договориться.

Многие факультеты в университетах, например, физика элементарных частиц, публикуют петабайты данных, так что это может быть еще одним возможным вариантом.

— Boldewyn
источник