Вопросы с тегом «multiprocessing»

В многопроцессорной библиотеке Python есть вариант pool.map, который поддерживает несколько аргументов? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

536 python  multiprocessing 

Я не видел четких примеров с примерами использования для Pool.apply , Pool.apply_async и Pool.map . Я в основном использую Pool.map; каковы преимущества других?

292 python  multithreading  concurrency  multiprocessing 

Мне жаль, что я не могу воспроизвести ошибку на более простом примере, а мой код слишком сложен для публикации. Если я запускаю программу в оболочке IPython вместо обычного Python, все работает хорошо. Я посмотрел некоторые предыдущие заметки по этой проблеме. Все они были вызваны использованием пула для вызова функции, определенной …

245 python  multiprocessing  pickle  python-multiprocessing 

Прямо сейчас у меня есть центральный модуль в платформе, которая порождает несколько процессов, используя multiprocessingмодуль Python 2.6 . Поскольку он использует multiprocessing, существует журнал, поддерживающий многопроцессорность на уровне модуля LOG = multiprocessing.get_logger(). Согласно документам , этот регистратор имеет общие блокировки процессов, так что вы не можете вписаться sys.stderr(или в какой-либо …

239 python  logging  multiprocessing 

Я пытаюсь использовать multiprocessing«s Pool.map()функцию , чтобы разделить из работы одновременно. Когда я использую следующий код, он работает нормально: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() Однако, когда я использую его в более объектно-ориентированном подходе, это не работает. …

218 python  multithreading  multiprocessing  pickle  pool 

Я пытаюсь научиться использовать multiprocessingпакет Python , но я не понимаю разницу между map_asyncи imap. Я заметил, что оба map_asyncи imapвыполняются асинхронно. Так, когда я должен использовать один по другому? И как я должен получить результат, возвращенный map_async? Должен ли я использовать что-то вроде этого? def test(): result = pool.map_async() …

184 python  multiprocessing  python-multiprocessing 

Когда я запускаю что-то вроде: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) это работает отлично. Однако, помещая это как функцию класса: class calculate(object): def run(self): def f(x): return x*x p = Pool() return p.map(f, [1,2,3]) cl = calculate() print cl.run() Дает мне следующую ошибку: …

180 python  multiprocessing  pickle 

Каковы принципиальные различия между очередями и каналами в многопроцессорном пакете Python ? В каких сценариях следует выбирать один над другим? Когда выгодно использовать Pipe()? Когда выгодно использовать Queue()?

151 python  performance  queue  multiprocessing  pipe 

В Python 3.2 было представлено Concurrent Futures , представляющее собой сложную комбинацию старых потоковых и многопроцессорных модулей. Каковы преимущества и недостатки использования этого для задач, связанных с ЦП, по сравнению со старым многопроцессорным модулем? Эта статья предполагает, что с ними гораздо проще работать - так ли это?

148 python  python-3.x  multiprocessing 

Я учусь , как использовать threadingи те multiprocessingмодули в Python для выполнения определенных операций параллельно и ускорить свой код. Я нахожу это трудным (возможно, потому что у меня нет никакого теоретического фона об этом), чтобы понять, в чем разница между threading.Thread()объектом и объектом multiprocessing.Process(). Кроме того, мне не совсем понятно, …

141 python  multithreading  parallel-processing  process  multiprocessing 

Как мне обработать события KeyboardInterrupt с помощью многопроцессорных пулов Python? Вот простой пример: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** THIS PART NEVER EXECUTES. **** pool.terminate() …

136 python  multiprocessing  pool  keyboardinterrupt 

Я не уверен, считается ли это проблемой ОС, но я подумал, что спрошу здесь, если у кого-то есть какое-то представление о вещах, связанных с Python. Я пытался распараллелить forцикл joblib, нагружающий ЦП , но обнаружил, что вместо того, чтобы каждый рабочий процесс был назначен другому ядру, я получаю, что все …

129 python  linux  numpy  multiprocessing  blas 

Предположим, у меня есть большой массив numpy в памяти, у меня есть функция, funcкоторая принимает этот гигантский массив в качестве входных данных (вместе с некоторыми другими параметрами). funcс разными параметрами можно запускать параллельно. Например: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes …

124 python  numpy  parallel-processing  multiprocessing  shared-memory 

Я пробую свою самую первую формальную программу Python с использованием потоковой и многопроцессорной обработки на машине с Windows. Однако я не могу запустить процессы, а python выдает следующее сообщение. Дело в том, что я не запускаю свои потоки в основном модуле. Потоки обрабатываются в отдельном модуле внутри класса. РЕДАКТИРОВАТЬ : …

124 python  windows  multiprocessing 

Я обнаружил, что в Python 3.4 есть несколько разных библиотек для многопроцессорности / многопоточности: многопроцессорность vs многопоточность vs asyncio . Но я не знаю, какой из них использовать, или какой из них «рекомендуется». Они делают то же самое или разные? Если да, то какой для чего? Я хочу написать программу, …

114 python  multithreading  python-3.x  multiprocessing  python-asyncio