RuntimeError unter Windows versucht Python-Multiprocessing

121

Ich versuche mein erstes formales Python-Programm mit Threading und Multiprocessing auf einem Windows-Computer. Ich kann die Prozesse jedoch nicht starten, da Python die folgende Meldung ausgibt. Die Sache ist, ich meine Fäden in der nicht startet Hauptmodul. Die Threads werden in einem separaten Modul innerhalb einer Klasse behandelt.

EDIT : Übrigens läuft dieser Code auf Ubuntu einwandfrei. Nicht ganz an Fenstern

RuntimeError: 
            Attempt to start a new process before the current process
            has finished its bootstrapping phase.
            This probably means that you are on Windows and you have
            forgotten to use the proper idiom in the main module:
                if __name__ == '__main__':
                    freeze_support()
                    ...
            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce a Windows executable.

Mein ursprünglicher Code ist ziemlich lang, aber ich konnte den Fehler in einer gekürzten Version des Codes reproduzieren. Es ist in zwei Dateien aufgeteilt, die erste ist das Hauptmodul und macht nur den Import des Moduls, das Prozesse / Threads verarbeitet und eine Methode aufruft. Im zweiten Modul befindet sich das Fleisch des Codes.


testMain.py:

import parallelTestModule

extractor = parallelTestModule.ParallelExtractor()
extractor.runInParallel(numProcesses=2, numThreads=4)

parallelTestModule.py:

import multiprocessing
from multiprocessing import Process
import threading

class ThreadRunner(threading.Thread):
    """ This class represents a single instance of a running thread"""
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        print self.name,'\n'

class ProcessRunner:
    """ This class represents a single instance of a running process """
    def runp(self, pid, numThreads):
        mythreads = []
        for tid in range(numThreads):
            name = "Proc-"+str(pid)+"-Thread-"+str(tid)
            th = ThreadRunner(name)
            mythreads.append(th) 
        for i in mythreads:
            i.start()
        for i in mythreads:
            i.join()

class ParallelExtractor:    
    def runInParallel(self, numProcesses, numThreads):
        myprocs = []
        prunner = ProcessRunner()
        for pid in range(numProcesses):
            pr = Process(target=prunner.runp, args=(pid, numThreads)) 
            myprocs.append(pr) 
#        if __name__ == 'parallelTestModule':    #This didnt work
#        if __name__ == '__main__':              #This obviously doesnt work
#        multiprocessing.freeze_support()        #added after seeing error to no avail
        for i in myprocs:
            i.start()

        for i in myprocs:
            i.join()
NG Algo
quelle
@doctorlove Ich führe es als Python testMain.py
NG Algo
1
Sicher - Sie benötigen einen if- Namen == ' main ', siehe Antworten und Dokumente
doctorlove
1
@NGAlgo Ihr Skript war sehr hilfreich für mich, als ich ein Problem mit Pymongo und Multiprocessing debuggte. Vielen Dank!
Clay

Antworten:

173

Unter Windows importieren die Unterprozesse beim Start das Hauptmodul (dh führen es aus). Sie müssen einen if __name__ == '__main__':Schutz in das Hauptmodul einfügen , um zu vermeiden, dass Unterprozesse rekursiv erstellt werden.

Geändert testMain.py:

import parallelTestModule

if __name__ == '__main__':    
    extractor = parallelTestModule.ParallelExtractor()
    extractor.runInParallel(numProcesses=2, numThreads=4)
Janne Karila
quelle
3
(schlägt mit der Handfläche gegen die Stirn) Doh! Es klappt!!!! Ich danke dir sehr! Mir fehlte die Tatsache, dass es das ursprüngliche Hauptmodul ist, das erneut importiert wird! Während dieser ganzen Zeit habe ich versucht, " name ==" zu überprüfen, bevor ich meine Prozesse gestartet habe.
NG Algo
1
Ich kann 'parallelTestModule' scheinbar nicht importieren. Ich benutze Python 2.7. Sollte es sofort funktionieren?
Jonny
2
@Jonny Der Code für parallelTestModule.py ist Teil der Frage.
Janne Karila
1
@DeshDeepSingh Das Code-Snippet ist kein eigenständiges Beispiel. Es ist eine Modifikation des OP-Codes
Janne Karila
1
@DeshDeepSingh Dieses Modul ist Teil der Frage.
Janne Karila
25

Versuchen Sie, Ihren Code in eine Hauptfunktion in testMain.py einzufügen

import parallelTestModule

if __name__ ==  '__main__':
  extractor = parallelTestModule.ParallelExtractor()
  extractor.runInParallel(numProcesses=2, numThreads=4)

Siehe die Dokumente :

"For an explanation of why (on Windows) the if __name__ == '__main__' 
part is necessary, see Programming guidelines."

welche sagen

"Stellen Sie sicher, dass das Hauptmodul von einem neuen Python-Interpreter sicher importiert werden kann, ohne unbeabsichtigte Nebenwirkungen zu verursachen (z. B. Starten eines neuen Prozesses)."

... durch die Nutzung if __name__ == '__main__'

Doktorliebe
quelle
9

Obwohl die früheren Antworten richtig sind, gibt es eine kleine Komplikation, auf die man hinweisen sollte.

Wenn Ihr Hauptmodul ein anderes Modul importiert, in dem globale Variablen oder Klassenmitgliedsvariablen definiert und für einige neue Objekte initialisiert (oder verwendet) werden, müssen Sie diesen Import möglicherweise auf die gleiche Weise konditionieren:

if __name__ ==  '__main__':
  import my_module
Ofer
quelle
3

Wie @Ofer sagte, wenn Sie andere Bibliotheken oder Module verwenden, sollten Sie alle in das importieren if __name__ == '__main__':

Also endete in meinem Fall so:

if __name__ == '__main__':       
    import librosa
    import os
    import pandas as pd
    run_my_program()
Luis Abdi
quelle
0

In meinem Fall war es ein einfacher Fehler im Code, bei dem eine Variable verwendet wurde, bevor sie erstellt wurde. Es lohnt sich, dies zu überprüfen, bevor Sie die oben genannten Lösungen ausprobieren. Warum ich diese spezielle Fehlermeldung erhalten habe, weiß Herr.

arame3333
quelle