Вопросы с тегом «parallel-processing»

Многие платформы продвигают асинхронность и параллелизм как средства повышения быстродействия. Я понимаю разницу в целом, но часто мне трудно сформулировать это в собственном уме, а также для других. Я рабочий программист и довольно часто использую асинхронные функции и обратные вызовы. Параллелизм кажется экзотическим. Но мне кажется, что их легко объединить, …

141 multithreading  asynchronous  parallel-processing 

В случае, если меня не волнует порядок выполнения задач и мне просто нужно, чтобы они все выполнялись, следует ли мне использовать await Task.WhenAllвместо нескольких await? например, DoWork2ниже предпочтительный метод DoWork1(и почему?): using System; using System.Threading.Tasks; namespace ConsoleApp { class Program { static async Task<string> DoTaskAsync(string name, int timeout) { var …

127 c#  .net  parallel-processing  task-parallel-library  async-await 

У меня есть сценарий PowerShell для выполнения пакетной обработки нескольких изображений, и я хотел бы выполнить некоторую параллельную обработку. Powershell, похоже, имеет некоторые параметры фоновой обработки, такие как start-job, wait-job и т. Д., Но единственным хорошим ресурсом, который я нашел для выполнения параллельной работы, было написание текста сценария и его …

125 multithreading  powershell  parallel-processing 

Предположим, у меня есть большой массив numpy в памяти, у меня есть функция, funcкоторая принимает этот гигантский массив в качестве входных данных (вместе с некоторыми другими параметрами). funcс разными параметрами можно запускать параллельно. Например: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes …

124 python  numpy  parallel-processing  multiprocessing  shared-memory 

Я пытаюсь распараллелить трассировщик лучей. Это означает, что у меня есть очень длинный список небольших вычислений. Ванильная программа запускается на определенной сцене за 67,98 секунды при использовании 13 МБ общей памяти и производительности 99,2%. В своей первой попытке я использовал параллельную стратегию parBufferс размером буфера 50. Я выбрал, parBufferпотому что …

114 haskell  parallel-processing  raytracing 

Как мне выйти из цикла parallel.for ? У меня есть довольно сложное утверждение, которое выглядит следующим образом: Parallel.ForEach<ColorIndexHolder>(ColorIndex.AsEnumerable(), new Action<ColorIndexHolder>((ColorIndexHolder Element) => { if (Element.StartIndex <= I && Element.StartIndex + Element.Length >= I) { Found = true; break; } })); Используя параллельный класс, я могу значительно оптимизировать этот процесс. Тем …

112 c#  multithreading  parallel-processing  parallel.foreach 

Я экспериментировал с многопоточностью и параллельной обработкой, и мне нужен был счетчик для базового подсчета и статистического анализа скорости обработки. Чтобы избежать проблем с одновременным использованием моего класса, я использовал оператор блокировки для частной переменной в моем классе: private object mutex = new object(); public void Count(int amount) { lock(mutex) …

111 c#  .net  multithreading  locking  parallel-processing 

Одним из основных примеров, который используется для демонстрации возможностей MapReduce, является тест Terasort . Мне сложно понять основы алгоритма сортировки, используемого в среде MapReduce. Для меня сортировка просто включает определение относительного положения элемента по отношению ко всем другим элементам. Таким образом, сортировка предполагает сравнение «всего» со «всем». Ваш средний алгоритм …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Я хотел бы распараллелить мою программу Python, чтобы она могла использовать несколько процессоров на машине, на которой она работает. Мое распараллеливание очень простое, поскольку все параллельные «потоки» программы независимы и записывают свой вывод в отдельные файлы. Мне не нужны потоки для обмена информацией, но я обязательно знаю, когда потоки завершаются, …

110 python  multithreading  parallel-processing 

Как можно просто дождаться завершения всех потоковых процессов? Например, допустим, у меня есть: public class DoSomethingInAThread implements Runnable{ public static void main(String[] args) { for (int n=0; n<1000; n++) { Thread t = new Thread(new DoSomethingInAThread()); t.start(); } // wait for all threads' run() methods to complete before continuing } …

109 java  multithreading  parallel-processing  wait 

Учитывая этот код: var arrayStrings = new string[1000]; Parallel.ForEach<string>(arrayStrings, someString => { DoSomething(someString); }); Будут ли все 1000 потоков появляться почти одновременно?

107 c#  .net  c#-4.0  parallel-processing 

В документации к multiprocessingмодулю показано, как передать очередь процессу, запущенному с multiprocessing.Process. Но как я могу разделить очередь с запущенными асинхронными рабочими процессами apply_async? Мне не нужно динамическое объединение или что-то еще, просто способ для рабочих (многократно) сообщать о своих результатах обратно на базу. import multiprocessing def worker(name, que): que.put("%d …

96 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

Я пытаюсь понять, в чем разница между SLURM srunи sbatchкомандами. Я буду рад общему объяснению, а не конкретным ответам на следующие вопросы, но вот некоторые конкретные моменты путаницы, которые могут стать отправной точкой и дать представление о том, что я ищу. Согласно документации , он srunпредназначен для отправки заданий и …

95 parallel-processing  scheduler  jobs  slurm  sbatch 

Есть ли способ создать потоки для одновременного запуска нескольких методов? Таким образом, если какой-либо метод выйдет из строя, все остальные потоки должны быть убиты.

91 multithreading  node.js  asynchronous  parallel-processing 

В своей недавней работе с Gibbs sampling, я делал большую пользу из RVarкоторых, на мой взгляд, обеспечивает почти идеальный интерфейс для генерации случайных чисел. К сожалению, мне не удалось использовать Repa из-за невозможности использовать монадические действия на картах. Хотя очевидно, что монадические карты не могут быть распараллелены в целом, мне …

90 arrays  haskell  parallel-processing  repa