Объединение node.js и Python

Node.js идеально подходит для нашего веб-проекта, но есть несколько вычислительных задач, для которых мы бы предпочли Python. У нас также уже есть для них код Python. Нас очень беспокоит скорость. Каков самый элегантный способ вызвать Python "worker" из node.js асинхронным неблокирующим способом?

Для связи между node.js и сервером Python я бы использовал сокеты Unix, если оба процесса выполняются на одном сервере, и сокеты TCP / IP в противном случае. Для протокола маршалинга я бы взял JSON или буфер протокола . Если поточный Python оказывается узким местом, рассмотрите возможность использования Twisted Python , который обеспечивает такой же управляемый событиями параллелизм, как и node.js.

Если вы любите приключения, изучите clojure ( clojurescript , clojure-py ), и вы получите тот же язык, который работает и взаимодействует с существующим кодом на Java, JavaScript (включая node.js), CLR и Python. И вы получаете превосходный протокол маршаллинга, просто используя структуры данных clojure.

Это звучит как сценарий, в котором zeroMQ будет подходящим вариантом. Это структура обмена сообщениями, аналогичная использованию сокетов TCP или Unix, но намного более надежная ( http://zguide.zeromq.org/py:all )

Есть библиотека, которая использует zeroMQ для предоставления хорошо работающей инфраструктуры RPC. Это называется zeroRPC ( http://www.zerorpc.io/ ). Вот привет, мир.

Сервер Python "Hello x":

import zerorpc

class HelloRPC(object):
    '''pass the method a name, it replies "Hello name!"'''
    def hello(self, name):
        return "Hello, {0}!".format(name)

def main():
    s = zerorpc.Server(HelloRPC())
    s.bind("tcp://*:4242")
    s.run()

if __name__ == "__main__" : main()

И клиент node.js:

var zerorpc = require("zerorpc");

var client = new zerorpc.Client();
client.connect("tcp://127.0.0.1:4242");
//calls the method on the python object
client.invoke("hello", "World", function(error, reply, streaming) {
    if(error){
        console.log("ERROR: ", error);
    }
    console.log(reply);
});

Или наоборот, сервер node.js:

var zerorpc = require("zerorpc");

var server = new zerorpc.Server({
    hello: function(name, reply) {
        reply(null, "Hello, " + name, false);
    }
});

server.bind("tcp://0.0.0.0:4242");

И клиент python

import zerorpc, sys

c = zerorpc.Client()
c.connect("tcp://127.0.0.1:4242")
name = sys.argv[1] if len(sys.argv) > 1 else "dude"
print c.hello(name)

Если вы разместите свой рабочий Python в отдельном процессе (либо длительном процессе серверного типа, либо порожденном дочернем процессе по запросу), ваше взаимодействие с ним будет асинхронным на стороне node.js. Сокеты UNIX / TCP и связь stdin / out / err по своей сути асинхронны в узле.

Я бы рассмотрел также Apache Thrift http://thrift.apache.org/

Он может связывать несколько языков программирования, очень эффективен и поддерживает вызовы async или sync. См. Полные возможности здесь http://thrift.apache.org/docs/features/

Многоязычный язык может быть полезен для будущих планов, например, если вы позже захотите выполнить часть вычислительной задачи на C ++, очень легко добавить его в смесь с помощью Thrift.

У меня был большой успех, используя thoonk.js вместе с thoonk.py . Thoonk использует Redis (хранилище ключей и значений в памяти), чтобы предоставить вам канал (например, публикацию / подписку), очереди и шаблоны заданий для общения.

Почему это лучше, чем сокеты unix или прямые сокеты tcp? Общая производительность может немного снизиться, однако Thoonk предоставляет действительно простой API, который упрощает работу с сокетом вручную. Thoonk также помогает упростить реализацию модели распределенных вычислений, которая позволяет масштабировать ваших работников python для повышения производительности, поскольку вы просто запускаете новые экземпляры своих работников python и подключаете их к тому же серверу Redis.

Я бы рекомендовал использовать некоторую рабочую очередь, используя, например, отличный Gearman , который предоставит вам отличный способ отправлять фоновые задания и асинхронно получать их результат после обработки.

Преимущество этого, широко используемого на Digg (среди многих других), заключается в том, что он обеспечивает надежный, масштабируемый и надежный способ заставить сотрудников на любом языке говорить с клиентами на любом языке.

Обновление 2019

Есть несколько способов добиться этого, и вот список в порядке возрастания сложности.

1. Python Shell, вы будете писать потоки в консоль python, и она вам ответит
2. Redis Pub Sub, вы можете прослушивать канал на Python, пока ваш издатель node js отправляет данные
3. Соединение через WebSocket, где Node выступает в роли клиента, а Python - в качестве сервера или наоборот.
4. Соединение API с Express / Flask / Tornado и т. Д., Работающее отдельно с конечной точкой API, доступной для запроса другой

Подход 1 Python Shell Самый простой подход

файл source.js

const ps = require('python-shell')
// very important to add -u option since our python script runs infinitely
var options = {
    pythonPath: '/Users/zup/.local/share/virtualenvs/python_shell_test-TJN5lQez/bin/python',
    pythonOptions: ['-u'], // get print results in real-time
    // make sure you use an absolute path for scriptPath
    scriptPath: "./subscriber/",
    // args: ['value1', 'value2', 'value3'],
    mode: 'json'
};

const shell = new ps.PythonShell("destination.py", options);

function generateArray() {
    const list = []
    for (let i = 0; i < 1000; i++) {
        list.push(Math.random() * 1000)
    }
    return list
}

setInterval(() => {
    shell.send(generateArray())
}, 1000);

shell.on("message", message => {
    console.log(message);
})

файл destination.py

import datetime
import sys
import time
import numpy
import talib
import timeit
import json
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

size = 1000
p = 100
o = numpy.random.random(size)
h = numpy.random.random(size)
l = numpy.random.random(size)
c = numpy.random.random(size)
v = numpy.random.random(size)

def get_indicators(values):
    # Return the RSI of the values sent from node.js
    numpy_values = numpy.array(values, dtype=numpy.double) 
    return talib.func.RSI(numpy_values, 14)

for line in sys.stdin:
    l = json.loads(line)
    print(get_indicators(l))
    # Without this step the output may not be immediately available in node
    sys.stdout.flush()

Примечания : Создайте папку с именем subscriber, которая находится на том же уровне, что и файл source.js, и поместите в нее файл destination.py. Не забудьте изменить среду virtualenv