Вопросы с тегом «rdd»

Мне просто интересно, в чем разница между RDDand и DataFrame (Spark 2.0.0 DataFrame - просто псевдоним типа Dataset[Row]) в Apache Spark? Можете ли вы преобразовать одно в другое?

258 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

По данным Learning Spark Имейте в виду, что перераспределение ваших данных является довольно дорогой операцией. Spark также имеет оптимизированную версию repartition()call, coalesce()которая позволяет избежать перемещения данных, но только если вы уменьшаете количество разделов RDD. Одно из различий, которое я получаю, заключается в том, что с repartition()количеством разделов можно увеличивать / …

254 apache-spark  distributed-computing  rdd 

С точки зрения RDDнастойчивости, каковы различия между cache()и persist()в искре?

202 apache-spark  distributed-computing  rdd 

Я предпочитаю Python, а не Scala. Но, поскольку Spark изначально написан на Scala, я ожидал, что мой код будет работать быстрее в Scala, чем версия Python по понятным причинам. Исходя из этого предположения, я подумал изучить и написать Scala-версию очень распространенного кода предварительной обработки для 1 ГБ данных. Данные взяты …

178 scala  performance  apache-spark  pyspark  rdd 

Когда эластичный распределенный набор данных (RDD) создается из текстового файла или коллекции (или из другого RDD), нужно ли явно вызывать «cache» или «persist» для сохранения данных RDD в памяти? Или данные СДР по умолчанию хранятся в памяти распределенным способом? val textFile = sc.textFile("/user/emp.txt") Насколько я понимаю, после вышеуказанного шага textFile …

171 scala  apache-spark  rdd 

Как преобразовать RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) в Dataframe org.apache.spark.sql.DataFrame. Я преобразовал фрейм данных в rdd, используя .rdd. После обработки я хочу вернуть его в фрейм данных. Как я могу это сделать ?

143 scala  apache-spark  apache-spark-sql  rdd 

В чем разница между RDD map и mapPartitionsметодом? И ведет flatMapсебя как mapили нравитсяmapPartitions ? Спасибо. (править) то есть в чем разница (семантически или с точки зрения исполнения) между def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = { rdd.mapPartitions({ iter: Iterator[A] => for …

133 performance  scala  apache-spark  rdd 

Из моего пользовательского интерфейса Spark. Что значит пропущено?

87 apache-spark  rdd 

Я прочитал документацию по HashPartitioner. К сожалению, ничего не было объяснено, кроме вызовов API. Я исхожу из предположения, что HashPartitionerраспределенный набор разбивается на разделы на основе хэша ключей. Например, если мои данные похожи на (1,1), (1,2), (1,3), (2,1), (2,2), (2,3) Таким образом, разделитель поместит это в разные разделы с одинаковыми …

82 scala  apache-spark  rdd  partitioning