Wäre es möglich, einen Python-Pool zu erstellen, der nicht dämonisch ist? Ich möchte, dass ein Pool eine Funktion aufrufen kann, in der sich ein anderer Pool befindet. Ich möchte dies, weil Deamon-Prozesse keinen Prozess erstellen können. Insbesondere wird der Fehler verursacht: AssertionError:...
Um meinen Code "pythonischer" und schneller zu machen, verwende ich "Multiprocessing" und eine Kartenfunktion, um ihn a) die Funktion und b) den Bereich der Iterationen zu senden. Die implantierte Lösung (dh tqdm direkt im Bereich tqdm.tqdm (Bereich (0, 30)) aufrufen) funktioniert nicht mit...
Ich habe ein Skript, das erfolgreich eine Reihe von Aufgaben des Multiprocessing Pool mit einem imap_unordered()Aufruf ausführt: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Mein Wert num_tasksliegt jedoch bei...
Ich verwende 'multiprocess.Pool.imap_unordered' wie folgt from multiprocessing import Pool pool = Pool() for mapped_result in pool.imap_unordered(mapping_func, args_iter): do some additional processing on mapped_result Muss ich pool.closeoder pool.joinnach der for-Schleife aufrufen...
Die Dokumentation für das multiprocessingModul zeigt, wie eine Warteschlange an einen Prozess übergeben wird, mit dem begonnen wurde multiprocessing.Process. Aber wie kann ich eine Warteschlange für asynchrone Arbeitsprozesse freigeben, mit denen begonnen wurde apply_async? Ich brauche keine...
Ich habe versucht, die Dokumentation unter http://docs.python.org/dev/library/multiprocessing.html zu lesen , habe aber immer noch Probleme mit der Mehrfachverarbeitung von Warteschlange, Pool und Sperre. Und jetzt konnte ich das folgende Beispiel erstellen. In Bezug auf Warteschlange und Pool bin...
Ich habe große Probleme damit, zu verstehen, wie die Multiprocessing-Warteschlange in Python funktioniert und wie sie implementiert wird. Nehmen wir an, ich habe zwei Python-Module, die auf Daten aus einer gemeinsam genutzten Datei zugreifen. Nennen wir diese beiden Module einen Writer und einen...
Ich muss oft eine Funktion auf die Gruppen eines sehr großen DataFrame(gemischten Datentyps) anwenden und möchte mehrere Kerne nutzen. Ich kann einen Iterator aus den Gruppen erstellen und das Multiprozessor-Modul verwenden, aber es ist nicht effizient, da jede Gruppe und die Ergebnisse der...
Ich habe versucht, einen CSV-Lesecode neu zu schreiben, um ihn in Python 3.2.2 auf mehreren Kernen ausführen zu können. Ich habe versucht, das PoolObjekt der Mehrfachverarbeitung zu verwenden, das ich anhand von Arbeitsbeispielen angepasst habe (und bereits für einen anderen Teil meines Projekts...
Ich habe ein 60 GB SciPy Array (Matrix), das ich zwischen mehr als 5 multiprocessing ProcessObjekten teilen muss . Ich habe numpy-sharedmem gesehen und diese Diskussion auf der SciPy-Liste gelesen . Es scheint zwei Ansätze zu geben - numpy-sharedmemund die Verwendung von a
Hintergrund: Ich arbeite an einem Projekt, das Django mit einer Postgres-Datenbank verwendet. Wir verwenden auch mod_wsgi, falls dies wichtig ist, da einige meiner Websuchen dies erwähnt haben. Beim Senden eines Webformulars startet die Django-Ansicht einen Job, der viel Zeit in Anspruch nimmt...
import subprocess def my_function(x): return x + 100 output = subprocess.Popen(my_function, 1) #I would like to pass the function object and its arguments print output #desired output: 101 Ich habe nur Dokumentation zum Öffnen von Unterprozessen mit separaten Skripten gefunden. Weiß jemand, wie...
Wie nutzt man Multiprocessing , um peinlich parallele Probleme anzugehen ? Peinlich parallele Probleme bestehen normalerweise aus drei Grundteilen: Lesen Sie Eingabedaten (aus einer Datei, Datenbank, TCP-Verbindung usw.). Führen Sie Berechnungen für die Eingabedaten aus, wobei jede Berechnung von...
Ich habe eine einzelne große Textdatei, in der ich jede Zeile verarbeiten (einige Operationen ausführen) und sie in einer Datenbank speichern möchte. Da ein einzelnes einfaches Programm zu lange dauert, möchte ich, dass es über mehrere Prozesse oder Threads ausgeführt wird. Jeder Thread /...
Welche Faktoren bestimmen ein optimales chunksizeArgument für Methoden wie multiprocessing.Pool.map()? Die .map()Methode scheint eine beliebige Heuristik für ihre Standard-Blockgröße zu verwenden (siehe unten). Was motiviert diese Wahl und gibt es einen nachdenklicheren Ansatz, der auf einer...
Ich habe eine CPU-intensive Sellerie-Aufgabe. Ich möchte die gesamte Verarbeitungsleistung (Kerne) in vielen EC2-Instanzen nutzen, um diesen Job schneller zu erledigen (eine Sellerie-parallel verteilte Aufgabe mit Mehrfachverarbeitung - glaube ich ) . Die Begriffe Threading , Multiprocessing ,...
Ich habe den PythonCode: from multiprocessing import Process def f(name): print 'hello', name if __name__ == '__main__': for i in range(0, MAX_PROCESSES): p = Process(target=f, args=(i,)) p.start() das läuft gut. Ist MAX_PROCESSESjedoch variabel und kann ein beliebiger Wert zwischen...
Ich versuche, ein großes numerisches Problem zu lösen, das viele Unterprobleme beinhaltet, und ich verwende Pythons Multiprocessing-Modul (speziell Pool.map), um verschiedene unabhängige Unterprobleme auf verschiedene Kerne aufzuteilen. Jedes Unterproblem beinhaltet das Berechnen vieler...
Ich habe ein Array (genannt data_inputs), das die Namen von Hunderten von Astronomie-Bilddateien enthält. Diese Bilder werden dann manipuliert. Mein Code funktioniert und es dauert einige Sekunden, um jedes Bild zu verarbeiten. Es kann jedoch immer nur ein Bild gleichzeitig erstellt werden, da das...
Meine Arbeit sollte parallele Techniken verwenden, und ich bin ein neuer Benutzer von Python. Ich frage mich also, ob Sie etwas Material über Python multiprocessingund subprocessModule teilen könnten . Was ist der Unterschied zwischen diesen beiden?