Вопросы с тегом «bigdata»

Какой самый эффективный способ вставить миллионы записей, скажем, 50 миллионов из фрейма данных Spark в таблицы Postgres. В прошлом я делал это от spark до MSSQL, используя опцию массового копирования и размера пакета, которая также была успешной. Есть ли что-то подобное, что может быть здесь для Postgres? Добавляем код, который …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

Я пытаюсь показать сыну, как можно использовать кодирование для решения проблемы, возникающей в игре, а также посмотреть, как R обрабатывает большие данные. Эта игра называется «Счастливчик 26». В этой игре числа (1-12 без дубликатов) расположены на 12 точках звезды Давида (6 вершин, 6 пересечений), и 6 линий по 4 числа …

15 r  bigdata  permutation 

Я исследую поведение Спарка, когда присоединяю стол к себе. Я использую Databricks. Мой глупый сценарий: Прочитать внешнюю таблицу как фрейм данных A (лежащие в основе файлы в дельта-формате) Определите фрейм данных B как фрейм данных A с выбранными только определенными столбцами Соедините кадры данных A и B в столбце 1 …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake