Вопросы с тегом «shared-memory»

Предположим, у меня есть большой массив numpy в памяти, у меня есть функция, funcкоторая принимает этот гигантский массив в качестве входных данных (вместе с некоторыми другими параметрами). funcс разными параметрами можно запускать параллельно. Например: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes …

124 python  numpy  parallel-processing  multiprocessing  shared-memory 

У меня небольшая проблема с одним из моих проектов. Я пытался найти хорошо документированный пример использования разделяемой памяти, fork()но безуспешно. В основном сценарий таков, что когда пользователь запускает программу, мне нужно сохранить два значения в общей памяти: current_path, который является символом *, и имя_файла, которое также является символом * . …

117 c  linux  fork  shared-memory 

Мне часто нужно применить функцию к очень большим группам DataFrame(смешанных типов данных), и я хотел бы использовать преимущества нескольких ядер. Я могу создать итератор из групп и использовать модуль многопроцессорности, но это неэффективно, потому что каждая группа и результаты функции должны быть обработаны для обмена сообщениями между процессами. Есть ли …

89 python  pandas  multiprocessing  shared-memory 

У меня есть массив SciPy (матрица) объемом 60 ГБ, который я должен использовать для более чем 5 multiprocessing Processобъектов. Я видел numpy-sharedmem и читал это обсуждение в списке SciPy. Кажется, есть два подхода - numpy-sharedmemи использование a, multiprocessing.RawArray()и сопоставление NumPy dtypes с ctypes. numpy-sharedmemКажется , это верный путь, но я …

88 python  numpy  multiprocessing  shared-memory