Я работаю над настройкой набора виртуальных машин для экспериментов со Spark, прежде чем потратить деньги и потратить деньги на создание кластера с некоторым оборудованием. Краткое примечание: я академик с опытом работы в области прикладного машинного обучения и немного бросил работу в науке о данных. Я использую инструменты для вычислений, редко мне нужно их настраивать.
Я создал 3 ВМ (1 мастер, 2 подчиненных) и успешно установил Spark. Кажется, все работает как надо. Моя проблема заключается в создании сервера Jupyter, к которому можно подключиться из браузера, не работающего на компьютере в кластере.
Я успешно установил ноутбук Jupyter ... и он работает. Я добавил новый профиль IPython для подключения к удаленному серверу с помощью Spark.
теперь проблема
Команда
$ ipython --profile=pyspark
работает нормально, и он подключается к искровому кластеру. Однако,
$ ipython notebook --profile=pyspark
[<stuff is here>] Unrecognized alias: "profile=pyspark", it will probably have no effect.
по умолчанию это default
профиль, а не pyspark
профиль.
Конфигурация моего ноутбука для pyspark
:
c = get_config()
c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8880
c.NotebookApp.server_extensions.append('ipyparallel.nbextension')
c.NotebookApp.password = u'some password is here'
$ ipython --profile=pyspark notebook
? Возможно, проблема была только в порядке аргументов.