Вопросы с тегом «partitioning»

В Kafka я хотел бы использовать только одного брокера, одну тему и один раздел с одним производителем и несколькими потребителями (каждый потребитель получает свою собственную копию данных от брокера). Учитывая это, я не хочу накладных расходов на использование Zookeeper; Могу я не использовать только брокера? Почему Zookeeper должен?

136 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Я начал использовать Spark SQL и DataFrames в Spark 1.4.0. Я хочу определить пользовательский разделитель в DataFrames в Scala, но не знаю, как это сделать. Одна из таблиц данных, с которыми я работаю, содержит список транзакций по учетной записи, силимар к следующему примеру. Account Date Type Amount 1001 2014-04-01 Purchase …

129 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Я прочитал документацию по HashPartitioner. К сожалению, ничего не было объяснено, кроме вызовов API. Я исхожу из предположения, что HashPartitionerраспределенный набор разбивается на разделы на основе хэша ключей. Например, если мои данные похожи на (1,1), (1,2), (1,3), (2,1), (2,2), (2,3) Таким образом, разделитель поместит это в разные разделы с одинаковыми …

82 scala  apache-spark  rdd  partitioning