Als «parallelism» getaggte Fragen

Paralleles Ausführen von Aufgaben, um mehrere Prozessoren zu verwenden

3
Top-Befehl auf Multi-Core-Prozessor
Ich benutze Freescale IMX6 Quad-Prozessor. Ich möchte wissen, ob der topBefehl die CPU-Auslastung aller 4 Kerne oder eines einzelnen Kerns auflistet. Ich sehe, dass die CPU-Auslastung einer Anwendung mit 4 Kernen und mit einem einzelnen Kern identisch ist. Ich habe vermutet, dass die CPU-Auslastung der Anwendung auf einem einzelnen Kern …
3
Wie starte ich Multi-Threaded Grep im Terminal?
Ich habe einen Ordner mit mehr als 250 Dateien mit jeweils 2 GB. Ich muss in diesen Dateien nach einer Zeichenfolge / einem Muster suchen und das Ergebnis in einer outputDatei ausgeben . Ich weiß, dass ich den folgenden Befehl ausführen kann, aber er ist zu langsam !! grep mypattern …
38 grep  parallelism 
2
Wie verteile ich einen großen Download auf mehrere Computer?
Ich muss eine große Datei (1 GB) herunterladen. Ich habe auch Zugriff auf mehrere Computer, auf denen Linux ausgeführt wird, aber jeder Computer ist durch eine Administratorrichtlinie auf eine Download-Geschwindigkeit von 50 KB / s beschränkt. Wie verteile ich das Herunterladen dieser Datei auf mehrere Computer und füge sie zusammen, …
6
Mehrere Digests gleichzeitig berechnen (md5, sha256)?
Unter der Annahme, dass Festplatten-E / A und freier RAM ein Engpass sind (während die CPU-Zeit keine Einschränkung darstellt), gibt es ein Tool, mit dem mehrere Message Digests gleichzeitig berechnet werden können? Ich interessiere mich besonders für die parallele Berechnung der MD-5- und SHA-256-Digests großer Dateien (Größe in Gigabyte). Ich …
4
Vier Aufgaben gleichzeitig ... wie mache ich das?
Ich habe ein paar PNG-Bilder in einem Verzeichnis. Ich habe eine Anwendung namens pngout, mit der ich diese Bilder komprimiere. Diese Anwendung wird von einem Skript aufgerufen, das ich erstellt habe. Das Problem ist, dass dieses Skript eines nach dem anderen ausführt: FILES=(./*.png) for f in "${FILES[@]}" do echo "Processing …
6
Verwenden von Parallel, um eindeutige Eingabedateien in eindeutige Ausgabedateien zu verarbeiten
Ich habe ein Shell-Scripting-Problem, bei dem ich ein Verzeichnis voller Eingabedateien (jede Datei enthält viele Eingabezeilen) bekomme, und ich muss sie einzeln verarbeiten und jede ihrer Ausgaben in eine eindeutige Datei umleiten (auch bekannt als file_1.input-Anforderungen) in file_1.output zu erfassen, und so weiter). Vor der Parallelisierung durchlieferte ich einfach jede …
2
Wie kann verhindert werden, dass XARGs die Ausgabe mehrerer Prozesse falsch zusammenführen?
Ich benutze xargsmit der Option --max-args=0(alternativ -P 0). Die Ausgabe der Prozesse wird jedoch stdoutohne Rücksicht auf eine ordnungsgemäße Leitungstrennung in den Strom eingebunden . So werde ich oft mit Zeilen enden wie: <start-of-line-1><line-2><end-of-line-1> Da ich egrepmit ^in meinem Muster auf der gesamten xargsAusgabe verwende, ist dies mein Ergebnis durcheinander. …
5
Wie führe ich Skripte parallel auf einem entfernten Rechner aus?
Ich kann in eine entfernte Maschine ssh, die 64 Kerne hat. Nehmen wir an, ich muss auf diesem Computer 640 Shell-Skripte parallel ausführen. Wie mache ich das? Ich kann sehen, die 640 Skripte in 64 Gruppen von jeweils 10 Skripten aufzuteilen. Wie würde ich dann jede dieser Gruppen parallel betreiben …
2
Parallele Ausführung von Pipe-Befehlen
Stellen Sie sich das folgende Szenario vor. Ich habe zwei Programme A und B. Programm A-Ausgaben für Standardzeilen von Strings, während Programm B Zeilen von Standard aus verarbeitet. Die Verwendung dieser beiden Programme ist selbstverständlich: foo @ bar: ~ $ A | B Jetzt ist mir aufgefallen, dass dies nur …
1
Wie kann ich den Index des xargs "Parallelprozessors" erhalten?
Angenommen, ich habe zwei Ressourcen namens 0und 1, auf die nur exklusiv zugegriffen werden kann. Gibt es eine Möglichkeit, den "Index" des "Parallelprozessors" wiederherzustellen, der xargsgestartet wird, um ihn als kostenlosen Dienst zum gegenseitigen Ausschluss zu verwenden? Betrachten Sie beispielsweise die folgende parallelisierte Berechnung: $ echo {1..8} | xargs -d …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.