Вопросы с тегом «distributed-computing»

Я пытаюсь понять ZooKeeper, как он работает и что он делает. Есть ли приложение, которое можно сравнить с ZooKeeper? Если вы знаете, то как бы вы описали ZooKeeper для неспециалистов? Я пробовал Apache Wiki, Zookeeper SourceForge ... но я до сих пор не могу с этим справиться. Я только что …

377 apache-zookeeper  distributed-computing 

По данным Learning Spark Имейте в виду, что перераспределение ваших данных является довольно дорогой операцией. Spark также имеет оптимизированную версию repartition()call, coalesce()которая позволяет избежать перемещения данных, но только если вы уменьшаете количество разделов RDD. Одно из различий, которое я получаю, заключается в том, что с repartition()количеством разделов можно увеличивать / …

254 apache-spark  distributed-computing  rdd 

Я прочитал обзор режима кластера и до сих пор не могу понять различные процессы в автономном кластере Spark и параллелизм. Рабочий процесс JVM или нет? Я запустил bin\start-slave.shи обнаружил, что он породил рабочего, который на самом деле является JVM. Согласно приведенной выше ссылке, исполнитель - это процесс, запускаемый для приложения …

219 apache-spark  distributed-computing 

С точки зрения RDDнастойчивости, каковы различия между cache()и persist()в искре?

202 apache-spark  distributed-computing  rdd 

Я относительно новичок в Кафке. Я немного поэкспериментировал с этим, но некоторые вещи мне неясны в отношении компенсации потребителю. Из того, что я понял до сих пор, когда потребитель начинает, смещение, с которого он начнет читать, определяется настройкой конфигурации auto.offset.reset(поправьте меня, если я ошибаюсь). Теперь скажем, например, что в теме …

170 java  distributed-computing  apache-kafka 

Если у вас есть миллиард чисел и сто компьютеров, как лучше всего найти медианное значение этих чисел? Одно из решений, которое у меня есть: Разделите набор поровну между компьютерами. Сортируйте их. Найдите медианы для каждого набора. Отсортируйте наборы по медианам. Объедините два набора одновременно от самого низкого до самого высокого …

127 algorithm  distributed-computing