Вопросы с тегом «hdfs»

Я хотел бы прочитать CSV в искре и преобразовать его как DataFrame и сохранить в HDFS с помощью df.registerTempTable("table_name") Я пытался: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Ошибка, которую я получил: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, …

147 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Характеристики паркета Apache: Самоописание Столбчатый формат Независимый от языка По сравнению с Avro, Sequence Files, RC File и т. Д. Мне нужен обзор форматов. Я уже читал: Как Impala работает с форматами файлов Hadoop , он дает некоторое представление о форматах, но я хотел бы знать, как доступ к данным …

137 file  hadoop  hdfs  avro  parquet 

Как скопировать файл из HDFS в локальную файловую систему. В нем нет физического расположения файла, даже каталога. Как я могу переместить их в мой местный для дальнейшей проверки. Я пробовал через Winscp.

135 hadoop  copy  hdfs 

Это своего рода наивный вопрос, но я новичок в парадигме NoSQL и мало о ней знаю. Итак, если кто-то может помочь мне четко понять разницу между HBase и Hadoop или дать несколько указателей, которые могут помочь мне понять разницу. До сих пор я провел небольшое исследование и соотв. Насколько я …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. не может ничего создать в hdfs я сделал root# bin/hadoop fs -safemode leave Но показывая safemode: Unknown command в чем проблема? Решение

122 hadoop  hdfs 

Согласно Hadoop - The Definitive Guide Логические записи, которые определяет FileInputFormats, обычно не помещаются аккуратно в блоки HDFS. Например, логические записи TextInputFormat - это строки, которые чаще всего пересекают границы HDFS. Это не имеет никакого отношения к работе вашей программы - например, линии не пропущены и не разорваны - но …

119 hadoop  split  mapreduce  block  hdfs 

В программировании Map Reduce фаза сокращения включает в себя перемешивание, сортировку и сокращение в качестве своих частей. Сортировка - дело затратное. Какова цель фазы перетасовки и сортировки в редукторе в программе Map Reduce?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Они должны быть равными? но почему команды " hadoop fs" показывают, hdfs filesа команды " hdfs dfs" показывают локальные файлы? вот информация о версии hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Скомпилировано jenkins в понедельник, 22 апреля, 10:48:26 PDT 2013

109 hadoop  hdfs 

Я знаю du -shобщие файловые системы Linux. Но как это сделать с HDFS?

99 hadoop  command-line  directory  hdfs