Как скопировать файл из HDFS в локальную файловую систему

135

Как скопировать файл из HDFS в локальную файловую систему. В нем нет физического расположения файла, даже каталога. Как я могу переместить их в мой местный для дальнейшей проверки. Я пробовал через Winscp.

hadoop copy hdfs

— Surya
источник

242

bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
В браузере укажите HDFS WEBUI ( namenode_machine:50070), перейдите к файлу, который вы собираетесь скопировать, прокрутите страницу вниз и щелкните по загрузке файла .

— Тарик
источник

Perfect Tariq, я понял, нет никакого физического расположения файла под файлом, даже каталога. bin / hadoop dfs -ls / use / hadoop / myfolder Я могу просмотреть файл, откуда я получил информацию, чтобы проверить файл, вы можете скопировать его из HDFS в локальную файловую систему , поэтому я могу переместить их из winscp

— Surya

2

Еще раз хочу упомянуть Тарика, большое спасибо за то, что вы уделили нам время и знания. большое спасибо . Вы много поддержали, это вселяет уверенность в нового буйца, такого как я.

— Surya

1

Понимаю. Вы можете использовать команду hdfs cat, если хотите увидеть содержимое файла или открыть файл в Интернете. Это избавит вас от загрузки файла на ваш локальный фс. Добро пожаловать. И если вы на 100% удовлетворены ответами на свои вопросы, вы можете отметить их, чтобы другие могли извлечь из этого пользу .. Не только для этого, а в целом.

— Tariq

2

Просто чтобы добавить к моему последнему комментарию, если это бинарный файл, cat не покажет вам фактическое содержимое. Для просмотра содержимого двоичного файла вы можете использовать: bin / hadoop fs -text / path / to / file

— Tariq

1

Кажется, это ошибка (исправлена). Смотрите ответ.

— Tariq

27

В Hadoop 2.0

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

где,

hdfs_input_file_path может быть получен из http://<<name_node_ip>>:50070/explorer.html
output_path это локальный путь к файлу, куда файл должен быть скопирован.
Вы также можете использовать getвместо copyToLocal.

— Ани Менон
источник

15

Чтобы скопировать файлы из HDFS в локальную файловую систему, можно выполнить следующую команду:

hadoop dfs -copyToLocal <input> <output>

<input>: путь к каталогу HDFS (например, / mydata), который вы хотите скопировать
<output>: путь к целевому каталогу (например, ~ / Documents)

— Шафик
источник

1

Это не похоже на работу для меня. Всегда говорится, что <input> файл не найден. Я использую экземпляр виртуальной машины Cloudera, который имеет

— Cent

@SutharMonil Вы уверены, что файл на самом деле там? Можете ли вы просматривать там через hadoop fs -ls?

— Деннис Джаэруддин

6

Вы можете достичь обоих этих способов.

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

Пример:

Мои файлы находятся в /sourcedata/mydata.txt. Я хочу скопировать файл в локальную файловую систему по этому пути / user / ravi / mydata

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/

— Раминени Рави Теджа
источник

3

Если ваш исходный «файл» разделен между несколькими файлами (возможно, в результате map-reduce), которые находятся в одном дереве каталогов, вы можете скопировать его в локальный файл с помощью:

hadoop fs -getmerge /hdfs/source/dir_root/ local/destination

— Одноименный
источник

Это должно быть принято. Это то, что ищет большинство людей, а не разделенный файл.

— Джеймс О'Брайен

2

Это сработало для меня на моем экземпляре виртуальной машины Ubuntu.

hdfs dfs -copyToLocal [каталог hadoop] [локальный каталог]

— Zach
источник

0

если вы используете докер, вам нужно сделать следующие шаги:

скопируйте файл из hdfs в namenode (hadoop fs -get output / part-r-00000 / out_text). "/ out_text" будет сохранен в namenode.
скопируйте файл из namenode на локальный диск с помощью (docker cp namenode: / out_text output.txt)
output.txt будет в вашем текущем рабочем каталоге

— Арслан
источник

-3

bin/hadoop fs -put /localfs/destination/path /hdfs/source/path

— Hadoop маньяк
источник

1

hdfs dfs -put - это команда для передачи файлов из локальной FS в HDFS. hdfs dfs -get - правильный выбор

— b_rousseau