Выполнение тысяч фоновых процессов curl параллельно в bash-скрипте

Я запускаю тысячи фоновых процессов curl параллельно в следующем скрипте bash

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

У меня 49Gb Corei7-920 выделенный сервер (не виртуальный).

Я отслеживаю потребление памяти и процессора через topкоманду, и они далеки от границ.

Я использую ps aux | grep curl | wc -lдля подсчета количества текущих процессов скручивания . Это число быстро увеличивается до 2-4 тысяч, а затем начинает непрерывно уменьшаться.

Если я добавлю простой анализ через piping curl в awk ( curl | awk > output), то число процессов curl возрастет до 1-2 тысяч, а затем уменьшится до 20-30 ...

Почему количество процессов так резко уменьшается? Где границы этой архитектуры?

После вопроса строго:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Короче, если вам не нужен шаблонный текст вокруг времени:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Если вы хотите запустить 1000 с параллельно, вы достигнете некоторых ограничений (например, файловых дескрипторов). Может помочь повышение ulimit -n или /etc/security/limits.conf.

for i in {1..100000}

Всего 65536 портов. Дросселировать это.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(edit: (edit: убрать строго устаревшее утверждение об ограничениях ОС и добавить недостающее )echocurl
wait