GNU parallel ist ein Befehlszeilenprogramm zum parallelen Ausführen von Programmen
Ich habe versucht, das folgende Skript, insbesondere jede der drei FOR-Schleifeninstanzen, mit GNU Parallel zu parallelisieren, konnte dies jedoch nicht. Die 4 in der FOR-Schleife enthaltenen Befehle werden nacheinander ausgeführt, wobei jede Schleife etwa 10 Minuten dauert. #!/bin/bash kar='KAR5'...
Ich bin verwirrt über den Unterschied oder den Vorteil (falls vorhanden), eine Reihe von Aufgaben in einem .shSkript mit auszuführenGNU parallel ZB die Antwort von Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png anstatt zu sagen, sie zu durchlaufen und sie in den Hintergrund zu stellen &. ZB...
Ich habe ein Shell-Scripting-Problem, bei dem ich ein Verzeichnis voller Eingabedateien (jede Datei enthält viele Eingabezeilen) bekomme, und ich muss sie einzeln verarbeiten und jede ihrer Ausgaben in eine eindeutige Datei umleiten (auch bekannt als file_1.input-Anforderungen) in file_1.output zu...
Ich habe ein rsyncSkript verwendet, um Daten auf einem Host mit den Daten auf einem anderen Host zu synchronisieren. Die Daten enthalten zahlreiche kleine Dateien, die zu fast 1,2 TB beitragen. Um diese Dateien zu synchronisieren, habe ich den rsyncBefehl wie folgt verwendet: rsync -avzm --stats...
In einem größeren Skript zur Nachbearbeitung einiger Simulationsdaten hatte ich folgende Zeile: parallel bnzip2 -- *.bz2 Welche, wenn ich parallelrichtig verstehe (und ich kann nicht), sollte N-Core-Threads des Programms über alle Dateien mit der aufgelisteten Erweiterung ausführen. Möglicherweise...
Also habe ich eine while-Schleife: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Dies kann jedoch lange dauern. Wie würde ich GNU Parallel für diese while-Schleife
Ich lade eine ziemlich gigantische Datei in eine Postgresql-Datenbank. Dazu verwende ich zuerst splitin der Datei kleinere Dateien (jeweils 30 GB) und lade dann jede kleinere Datei mit GNU Parallelund in die Datenbank psql copy. Das Problem ist, dass das Teilen der Datei ungefähr 7 Stunden dauert...
% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Ich würde erwarten, dass die zweite Zeile genauso
Ich möchte die Funktion von GNU parallel verwenden, mit der der Befehl und die Liste, die parallel eingegeben werden, ausgeführt und nach Abschluss des Vorgangs ausgespuckt werden können. Ich möchte GNU jedoch nicht parallel auf allen unseren Servern installieren. Oder vielleicht eine parallele...
Angenommen, ich möchte alle Übereinstimmungen in einer komprimierten Textdatei finden: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --ratewird hier zur Messung des Rohrdurchsatzes verwendet. Auf meinem Computer sind es ungefähr 420 MBit / s (nach der Dekomprimierung). Jetzt versuche...
Ich weiß, dass GNU Parallel std / stderr puffert, weil es nicht möchte, dass die parallel do_something ::: task_1 task_2 task_3Jobausgabe entstellt wird. Wenn ich jedoch meine Jobs mit ausführe, kann die Ausgabe von task_1 sofort angezeigt werden. Nach Abschluss von task_1 ist task_2 auf dem...
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Unix & Linux - Stack von Exchange. Geschlossen vor 2 Jahren . Auf einem HPC-Cluster versuche ich, mehrere...
Ich vergleiche den Inhalt von zwei Verzeichnissen mit dem diffBefehl in Bash. Auf einem Multithread-System wird nur ein Thread verwendet. Kennt jemand eine Möglichkeit, diffmehr als eine CPU / Thread verwenden zu müssen? Verwenden Sie