Als «parallelism» getaggte Fragen

In einer TXT-Datei befindet sich eine Liste mit IP-Adressen, z. 1.1.1.1 2.2.2.2 3.3.3.3 Hinter jeder IP-Adresse steht ein Server und auf jedem Server läuft ein SSHD auf Port 22. Nicht jeder Server ist in der known_hostsListe (auf meinem PC Ubuntu 10.04 LTS / bash). Wie kann ich Befehle auf diesen...

Ich benutze Freescale IMX6 Quad-Prozessor. Ich möchte wissen, ob der topBefehl die CPU-Auslastung aller 4 Kerne oder eines einzelnen Kerns auflistet. Ich sehe, dass die CPU-Auslastung einer Anwendung mit 4 Kernen und mit einem einzelnen Kern identisch ist. Ich habe vermutet, dass die CPU-Auslastung...

Ich muss eine große Datei (1 GB) herunterladen. Ich habe auch Zugriff auf mehrere Computer, auf denen Linux ausgeführt wird, aber jeder Computer ist durch eine Administratorrichtlinie auf eine Download-Geschwindigkeit von 50 KB / s beschränkt. Wie verteile ich das Herunterladen dieser Datei auf...

Ich habe einen Ordner mit mehr als 250 Dateien mit jeweils 2 GB. Ich muss in diesen Dateien nach einer Zeichenfolge / einem Muster suchen und das Ergebnis in einer outputDatei ausgeben . Ich weiß, dass ich den folgenden Befehl ausführen kann, aber er ist zu langsam !! grep mypattern * > output...

Gibt es ein Tool / einen Befehl in Linux, mit dem ich einen Befehl in mehreren Registerkarten gleichzeitig ausführen kann? Ich möchte den gleichen Befehl ausführen: ./myprog argument1 argument2gleichzeitig in mehr als einer Shell, um zu überprüfen, ob die Mutexe in einem Thread-Programm einwandfrei...

Ich möchte so schnell wie möglich kompilieren. Stelle dir das vor. Und möchte die Wahl der Nummer nach der -jOption automatisieren . Wie kann ich diesen Wert programmatisch auswählen, z. B. in einem Shell-Skript? nprocEntspricht die Ausgabe von der Anzahl der Threads, mit denen ich kompilieren...

Unter der Annahme, dass Festplatten-E / A und freier RAM ein Engpass sind (während die CPU-Zeit keine Einschränkung darstellt), gibt es ein Tool, mit dem mehrere Message Digests gleichzeitig berechnet werden können? Ich interessiere mich besonders für die parallele Berechnung der MD-5- und...

Ich habe ein paar PNG-Bilder in einem Verzeichnis. Ich habe eine Anwendung namens pngout, mit der ich diese Bilder komprimiere. Diese Anwendung wird von einem Skript aufgerufen, das ich erstellt habe. Das Problem ist, dass dieses Skript eines nach dem anderen ausführt: FILES=(./*.png) for f in...

Nehmen wir an, dass ich drei (oder mehr) Bash - Skripte: script1.sh, script2.sh, und script3.sh. Ich möchte alle drei Skripte aufrufen und parallel ausführen . Eine Möglichkeit, dies zu tun, besteht darin, einfach die folgenden Befehle auszuführen: nohup bash script1.sh & nohup bash script2.sh...

Ich habe ein Shell-Scripting-Problem, bei dem ich ein Verzeichnis voller Eingabedateien (jede Datei enthält viele Eingabezeilen) bekomme, und ich muss sie einzeln verarbeiten und jede ihrer Ausgaben in eine eindeutige Datei umleiten (auch bekannt als file_1.input-Anforderungen) in file_1.output zu...

Ich benutze xargsmit der Option --max-args=0(alternativ -P 0). Die Ausgabe der Prozesse wird jedoch stdoutohne Rücksicht auf eine ordnungsgemäße Leitungstrennung in den Strom eingebunden . So werde ich oft mit Zeilen enden wie: <start-of-line-1><line-2><end-of-line-1> Da ich...

Ich habe ein Bash-Shell-Skript, in dem ich einige Daten durch ungefähr 5 oder 6 verschiedene Programme leite und dann das Endergebnis in eine tabulatorgetrennte Datei umwandle. Ich mache dann dasselbe noch einmal für einen separaten ähnlichen Datensatz und gebe ihn in eine zweite Datei aus....

Stellen Sie sich das folgende Szenario vor. Ich habe zwei Programme A und B. Programm A-Ausgaben für Standardzeilen von Strings, während Programm B Zeilen von Standard aus verarbeitet. Die Verwendung dieser beiden Programme ist selbstverständlich: foo @ bar: ~ $ A | B Jetzt ist mir aufgefallen,...

Ich kann in eine entfernte Maschine ssh, die 64 Kerne hat. Nehmen wir an, ich muss auf diesem Computer 640 Shell-Skripte parallel ausführen. Wie mache ich das? Ich kann sehen, die 640 Skripte in 64 Gruppen von jeweils 10 Skripten aufzuteilen. Wie würde ich dann jede dieser Gruppen parallel...

Ich habe nur puf (Parallel URL Fetcher) gefunden, konnte aber keine URLs aus einer Datei lesen. etwas wie puf < urls.txt geht auch nicht. Das auf dem Server installierte Betriebssystem ist

Angenommen, ich habe zwei Ressourcen namens 0und 1, auf die nur exklusiv zugegriffen werden kann. Gibt es eine Möglichkeit, den "Index" des "Parallelprozessors" wiederherzustellen, der xargsgestartet wird, um ihn als kostenlosen Dienst zum gegenseitigen Ausschluss zu verwenden? Betrachten Sie...

Ich habe eine Aufgabe, die eine Liste von Dateien auf stdin verarbeitet. Die Startzeit des Programms ist beträchtlich und die Zeit, die jede Datei benötigt, ist sehr unterschiedlich. Ich möchte eine beträchtliche Anzahl dieser Prozesse erzeugen und dann die Arbeit an diejenigen senden, die nicht...

Ich habe drei Arten von Daten, die in verschiedenen Formaten vorliegen. Für jeden Datentyp gibt es ein Python-Skript, das ihn in ein einheitliches Format umwandelt. Dieses Python-Skript ist langsam und CPU-gebunden (an einen einzelnen Kern auf einem Multi-Core-Computer). Daher möchte ich drei...

Ich weiß, dass ich in der Befehlszeile &einen Befehl im Hintergrund ausführen kann . Aber ich frage mich, ob ich es in einem Skript tun kann. Ich habe ein Skript wie dieses: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh...

Ich xargsrufe ein Python-Skript auf, um ungefähr 30 Millionen kleine Dateien zu verarbeiten. Ich hoffe, xargsden Prozess parallelisieren zu können. Der Befehl, den ich benutze, ist: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Grundsätzlich...