Вопросы с тегом «parallel-processing»

В настоящее время у меня есть текущий сценарий. #!/bin/bash # script.sh for i in {0..99}; do script-to-run.sh input/ output/ $i done Я хочу запустить его параллельно, используя xargs. я пытался script.sh | xargs -P8 Но выполнение описанного выше выполняется только один раз. Не повезло и с -n8. Добавление & в …

86 bash  parallel-processing  xargs 

Какие факторы определяют оптимальный chunksizeаргумент в пользу таких методов multiprocessing.Pool.map()? .map()Похоже, что этот метод использует произвольную эвристику для размера фрагмента по умолчанию (поясняется ниже); что мотивирует этот выбор и существует ли более продуманный подход, основанный на какой-либо конкретной ситуации / настройке? Пример - скажи, что я: Пропускание iterableна .map()что ~ …

84 python  python-3.x  parallel-processing  multiprocessing  python-multiprocessing 

Модель программирования node.js, управляемая событиями, несколько усложняет координацию выполнения программы. Простое последовательное выполнение превращается во вложенные обратные вызовы, что достаточно легко (хотя и немного запутано для записи). Но как насчет параллельного выполнения? Скажем, у вас есть три задачи A, B, C, которые могут выполняться параллельно, и когда они будут выполнены, …

79 javascript  concurrency  node.js  parallel-processing  fork-join 

Если я не ошибаюсь, я могу заставить std::transformработать на месте , используя тот же диапазон, что и итератор ввода и вывода. Предположим, у меня есть какой-то std::vectorобъект vec, тогда я бы написал std::transform(vec.cbegin(),vec.cend(),vec.begin(),unary_op) используя подходящую унарную операцию unary_op. Используя стандарт C ++ 17, я хотел бы выполнить преобразование параллельно, вставив …

11 c++  parallel-processing  stl  c++17 

Я имею дело с довольно большим Pandas DataFrame - мой набор данных похож на следующую dfнастройку: import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # …

9 python  pandas  apache-spark  parallel-processing  dask 

Шаблон, с которым я сталкивался несколько раз, - это тот, в котором список значений должен быть проверен путем сопоставления некоторого теста и проверки, прошел ли какой-либо или все элементы. Типичное решение - просто использовать удобные встроенные функции allи any. Проблема в том, что они оцениваются в сериале. Во многих случаях …

9 haskell  testing  concurrency  parallel-processing  any