Вопросы с тегом «mapreduce»

Я знаю, как "преобразовать" простую Java List из Y-> Z, то есть: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Теперь я хотел бы сделать то же самое с картой, то есть: INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 // are Strings } …

210 java  mapreduce  java-8  java-stream  collectors 

В настоящее время этот вопрос не очень подходит для нашего формата вопросов и ответов. Мы ожидаем, что ответы будут подтверждены фактами, ссылками или опытом, но этот вопрос, скорее всего, вызовет дебаты, споры, опрос или расширенное обсуждение. Если вы считаете, что этот вопрос можно улучшить и, возможно, вновь открыть, обратитесь за …

202 mapreduce 

Связанный с моим вопросом CouchDB . Может ли кто-нибудь объяснить MapReduce в терминах, которые могут понять нибунты?

166 frameworks  mapreduce  glossary 

Какие сценарии оправдывают использование « Карты и снижения алгоритма »? Существует ли реализация этого алгоритма в .NET?

152 c#  mapreduce 

Во многих реальных ситуациях, когда вы применяете MapReduce, окончательные алгоритмы превращаются в несколько шагов MapReduce. т.е. Map1, Reduce1, Map2, Reduce2 и так далее. Итак, у вас есть результат последнего сокращения, который необходим в качестве входных данных для следующей карты. Промежуточные данные - это то, что вы (как правило) не хотите …

124 hadoop  mapreduce 

Согласно Hadoop - The Definitive Guide Логические записи, которые определяет FileInputFormats, обычно не помещаются аккуратно в блоки HDFS. Например, логические записи TextInputFormat - это строки, которые чаще всего пересекают границы HDFS. Это не имеет никакого отношения к работе вашей программы - например, линии не пропущены и не разорваны - но …

119 hadoop  split  mapreduce  block  hdfs 

В программировании Map Reduce фаза сокращения включает в себя перемешивание, сортировку и сокращение в качестве своих частей. Сортировка - дело затратное. Какова цель фазы перетасовки и сортировки в редукторе в программе Map Reduce?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Одним из основных примеров, который используется для демонстрации возможностей MapReduce, является тест Terasort . Мне сложно понять основы алгоритма сортировки, используемого в среде MapReduce. Для меня сортировка просто включает определение относительного положения элемента по отношению ко всем другим элементам. Таким образом, сортировка предполагает сравнение «всего» со «всем». Ваш средний алгоритм …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Stack Overflow. Закрыт 4 года назад . Уточните этот вопрос Итак, я с большим интересом смотрел на Hadoop , и, честно говоря, я …

98 c#  .net  hadoop  mapreduce 

Есть ли зависимости между Spark и Hadoop ? Если нет, то есть ли какие-то функции, которые я пропущу при запуске Spark без Hadoop ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

При использовании предложения MongoDB $inвсегда ли порядок возвращаемых документов соответствует порядку аргумента массива?

87 mongodb  mongoose  mapreduce  mongodb-query  aggregation-framework 

В Hadoop v1 я назначил каждому 7 слоту сопоставителя и редуктора размером 1 ГБ, мои сопоставители и редукторы работают нормально. У моей машины 8G памяти, 8 процессоров. Теперь с YARN, когда я запускал одно и то же приложение на той же машине, я получал ошибку контейнера. По умолчанию у меня …

85 hadoop  mapreduce  yarn  mrv2 

Я много слышу о map / reduce, особенно в контексте системы массовых параллельных вычислений Google. Что именно?

84 language-agnostic  mapreduce 

Когда в Hadoop запускаются задачи сокращения? Начинаются ли они после завершения определенного процента (порога) картографов? Если да, установлен ли этот порог? Какой порог обычно используется?

82 hadoop  mapreduce  reduce 

На данный момент у меня есть задание Hadoop, которое создает счетчики с довольно громким именем. Так , например, следующий: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Этот счетчик усекается в веб-интерфейсе и при getName()вызове метода. Я обнаружил, что Hadoop имеет ограничения на максимальное имя счетчика, и этот идентификатор настроек mapreduce.job.counters.counter.name.maxпредназначен для настройки этого ограничения. Я увеличил …

79 java  hadoop  mapreduce  yarn