Вопросы с тегом «hadoop»

Одним из основных примеров, который используется для демонстрации возможностей MapReduce, является тест Terasort . Мне сложно понять основы алгоритма сортировки, используемого в среде MapReduce. Для меня сортировка просто включает определение относительного положения элемента по отношению ко всем другим элементам. Таким образом, сортировка предполагает сравнение «всего» со «всем». Ваш средний алгоритм …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

При запуске namenode для последней версии hadoop-2.2 возникает следующая ошибка. Я не нашел exe-файл winutils в папке bin hasoop. Я пробовал команды ниже $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not …

109 hadoop 

Они должны быть равными? но почему команды " hadoop fs" показывают, hdfs filesа команды " hdfs dfs" показывают локальные файлы? вот информация о версии hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Скомпилировано jenkins в понедельник, 22 апреля, 10:48:26 PDT 2013

109 hadoop  hdfs 

Я знаю du -shобщие файловые системы Linux. Но как это сделать с HDFS?

99 hadoop  command-line  directory  hdfs 

Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Stack Overflow. Закрыт 4 года назад . Уточните этот вопрос Итак, я с большим интересом смотрел на Hadoop , и, честно говоря, я …

98 c#  .net  hadoop  mapreduce 

Я пытаюсь запустить простой NaiveBayesClassiferс помощью hadoop, получаю эту ошибку Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Код: Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error in …

97 java  hadoop  io 

Я планирую использовать один из файловых форматов hadoop для своего проекта, связанного с hadoop. Я понимаю, что паркет эффективен для запросов на основе столбцов и avro для полного сканирования или когда нам нужны все данные столбцов! Прежде чем я продолжу и выберу один из форматов файла, я хочу понять, каковы …

92 hadoop  avro  parquet 

Есть ли зависимости между Spark и Hadoop ? Если нет, то есть ли какие-то функции, которые я пропущу при запуске Spark без Hadoop ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

Как узнать, какую версию Hive я использую, из командной строки. Ниже приведены подробности- Я использую Putty для подключения к таблице кустов и доступа к записям в таблицах. Итак, что я сделал - я открыл Putty и ввел имя хоста, leo-ingesting.vip.name.comа затем щелкнул Open. Затем я ввел свое имя пользователя и …

88 hadoop  hive 

Я провожу несколько тестов форматов хранения, доступных в Hive, и использую Parquet и ORC в качестве основных опций. Я включил ORC один раз со сжатием по умолчанию и один раз с Snappy. Я читал много документов, в которых утверждается, что Parquet лучше по сложности во времени и пространстве по сравнению …

87 hadoop  hive  parquet  snappy  orc 

При установке hadoop на моем локальном компьютере возникла следующая ошибка ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 port 22: Connection refused ssh: …

86 linux  hadoop  ssh 

В Hadoop v1 я назначил каждому 7 слоту сопоставителя и редуктора размером 1 ГБ, мои сопоставители и редукторы работают нормально. У моей машины 8G памяти, 8 процессоров. Теперь с YARN, когда я запускал одно и то же приложение на той же машине, я получал ошибку контейнера. По умолчанию у меня …

85 hadoop  mapreduce  yarn  mrv2 

В настоящее время этот вопрос не подходит для нашего формата вопросов и ответов. Мы ожидаем, что ответы будут подтверждены фактами, ссылками или опытом, но этот вопрос, скорее всего, потребует дебатов, аргументов, опросов или расширенного обсуждения. Если вы считаете, что этот вопрос можно улучшить и, возможно, снова открыть, обратитесь за помощью …

84 nosql  hadoop  cassandra  hbase  data-processing 

Когда в Hadoop запускаются задачи сокращения? Начинаются ли они после завершения определенного процента (порога) картографов? Если да, установлен ли этот порог? Какой порог обычно используется?

82 hadoop  mapreduce  reduce 

мы хотели бы поместить результаты запроса Hive в файл CSV. Я думал, что команда должна выглядеть так: insert overwrite directory '/home/output.csv' select books from table; Когда я запускаю его, он говорит, что он успешно завершен, но я никогда не могу найти файл. Как мне найти этот файл или нужно извлекать …

81 database  hadoop  hive  hiveql