Вопросы с тегом «batch-processing»

Я написал фрагмент многопоточного программного обеспечения, которое выполняет кучу симуляций в день. Это очень ресурсоемкая задача, и я запускал эту программу в облачных службах, обычно в конфигурациях, таких как 1 ГБ на ядро. Я использую CentOS 6.7 и /proc/cpuinfoсообщаю, что мои четыре VPS-ядра имеют частоту 2,5 ГГц. processor : 3 …

34 performance  vps  centos6  performance-tuning  batch-processing 

Согласно man-странице, xargs завершит работу, если одна из строк выполнения завершится с ошибкой 255: Если какой-либо вызов команды завершается со статусом 255, xargs немедленно останавливается, не читая никаких дальнейших вводных данных. Когда это происходит, на stderr выдается сообщение об ошибке. Как я могу заставить xargs не делать этого? У меня …

27 bash  command-line-interface  batch-processing  xargs 

Я хотел бы иметь возможность пакетного удаления тысяч или десятков тысяч файлов одновременно на S3. Каждый файл будет от 1 до 50 МБ. Естественно, я не хочу, чтобы пользователь (или мой сервер) ждал, пока файлы находятся в процессе удаления. Отсюда и вопросы: Как S3 обрабатывает удаление файлов, особенно при удалении …

16 amazon-s3  batch-processing