Apache Spark: как использовать pyspark с Python 3

93

Я собрал Spark 1.4 из мастера разработки GH, и сборка прошла нормально. Но когда я делаю это, bin/pysparkя получаю версию Python 2.7.9. Как я могу это изменить?

python python-3.x apache-spark

— чакраварти
источник

7

Для тех, кто хочет узнать, как это сделать: PYSPARK_DRIVER_PYTHON=ipython3 PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pysparkв этом случае он запускает ноутбук IPython 3.

— tchakravarty

144

Просто установите переменную окружения:

export PYSPARK_PYTHON=python3

если вы хотите, чтобы это было постоянное изменение, добавьте эту строку в скрипт pyspark.

— Rtik88
источник

Переменные среды можно редактировать в / etc / profile. Не забудьте запустить "source / etc / profile" после сохранения профиля, чтобы изменения вступили в силу немедленно.

— Phyticist 05

1

Очевидно, используйте export PYSPARK_PYTHON=python3.5Python 3.5

— Phyticist

4

Лучше добавить это, $SPARK_HOME/conf/spark-env.shчтобы spark-submitиспользовать тот же интерпретатор.

— flow2k

@flow2k, это лучшая идея. Tnx

— Mohammad RaoofNia

32

PYSPARK_PYTHON=python3 
./bin/pyspark

Если вы хотите запустить IPython Notebook, напишите:

PYSPARK_PYTHON=python3 
PYSPARK_DRIVER_PYTHON=ipython 
PYSPARK_DRIVER_PYTHON_OPTS="notebook" 
./bin/pyspark

Если python3недоступен, вам нужно вместо этого указать путь к нему.

Имейте в виду, что текущая документация (начиная с версии 1.4.1) содержит устаревшие инструкции. К счастью, он был исправлен .

— Петр Мигдал
источник

1

Я думаю, что ваша команда для IPython Notebook неверна. Должно быть так: PYSPARK_PYTHON = python3 PYSPARK_DRIVER_PYTHON = ipython3 PYSPARK_DRIVER_PYTHON_OPTS = "notebook" ./bin/pyspark

— SpiderRico

@ChrisNielsen В терминале.

— Петр Мигдал

@ChrisNielsen В Linux или OS X это терминал / консоль. Понятия не имею, как это работает под Windows (в Windows я использовал Spark только в контейнере Docker).

— Петр Мигдал

@SpiderRico Похоже, они не работают на моем Mac. Чтобы Jupyter Notebook работал с Spark, используйте следующее. PYSPARK_PYTHON = python3 PYSPARK_DRIVER_PYTHON = jupyter PYSPARK_DRIVER_PYTHON_OPTS = "блокнот" ./bin/pyspark

— Хэнк Чан

9

1, отредактируйте профиль:vim ~/.profile

2, добавьте код в файл: export PYSPARK_PYTHON=python3

3, выполните команду: source ~/.profile

4, ./bin/pyspark

— янх
источник

4

Загляните в файл. Строка shebang, вероятно, указывает на двоичный файл env, который ищет путь к первому совместимому исполняемому файлу.

Вы можете изменить python на python3. Измените env, чтобы напрямую использовать жестко запрограммированный двоичный файл python3. Или выполните двоичный файл напрямую с помощью python3 и опустите строку shebang.

— rfkortekaas
источник

1

Да, просмотр файла помог. Требуется для установки PYSPARK_PYTHONпеременной окружения.

— tchakravarty

4

Для Jupyter Notebook отредактируйте spark-env.shфайл, как показано ниже, из командной строки.

$ vi $SPARK_HOME/conf/spark-env.sh

Перейдите в конец файла и скопируйте и вставьте эти строки

export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

Затем просто запустите следующую команду, чтобы запустить pyspark в записной книжке

$ pyspark

— oya163
источник