Paralleles Ausführen von Tausenden von Curl-Hintergrundprozessen im Bash-Skript

Ich führe im folgenden Bash-Skript Tausende von Curl- Hintergrundprozessen parallel aus

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

Ich habe 49 GB Corei7-920 dedizierten Server (nicht virtuell).

Ich verfolge Speicherverbrauch und CPU durch topBefehl und sie sind weit weg von Grenzen.

Ich benutze, ps aux | grep curl | wc -lum die Anzahl der aktuellen Curl- Prozesse zu zählen. Diese Zahl steigt schnell auf 2-4 Tausend an und beginnt dann kontinuierlich abzunehmen.

Wenn ich awk ( curl | awk > output) ein einfaches Parsing durch Pipe-Curl hinzufüge, dann erhöht sich die Anzahl der Curl-Prozesse nur auf 1-2 Tausend und verringert sich dann auf 20-30 ...

Warum sinkt die Anzahl der Prozesse so dramatisch? Wo liegen die Grenzen dieser Architektur?

Befolgen Sie die Frage streng:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Kürzere, wenn Sie den Text auf dem Kesselschild nicht benötigen:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Wenn Sie 1000s parallel ausführen möchten, stoßen Sie an einige Grenzen (z. B. Dateizugriffsnummern). Das Erhöhen von ulimit -n oder /etc/security/limits.conf kann hilfreich sein.

for i in {1..100000}

Es gibt nur 65536 Ports. Drossle das.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(edit: (edit: Streng datierte Behauptung über Betriebssystemgrenzen entfernen und die fehlenden hinzufügen )echocurl
wait