Mehrfachverarbeitung einer for-Schleife?

Ich habe ein Array (genannt data_inputs), das die Namen von Hunderten von Astronomie-Bilddateien enthält. Diese Bilder werden dann manipuliert. Mein Code funktioniert und es dauert einige Sekunden, um jedes Bild zu verarbeiten. Es kann jedoch immer nur ein Bild gleichzeitig erstellt werden, da das Array durch eine forSchleife ausgeführt wird:

for name in data_inputs:
    sci=fits.open(name+'.fits')
    #image is manipulated

Es gibt keinen Grund, warum ich ein Image vor einem anderen ändern muss. Ist es also möglich, alle 4 Kerne auf meinem Computer zu verwenden, wobei jeder Kern durch die for-Schleife auf einem anderen Image läuft?

Ich habe über das multiprocessingModul gelesen , bin mir aber nicht sicher, wie ich es in meinem Fall implementieren soll. Ich bin sehr daran interessiert, mich multiprocessingan die Arbeit zu machen, weil ich dies irgendwann auf über 10.000 Bildern ausführen muss.

Sie können einfach verwenden multiprocessing.Pool:

from multiprocessing import Pool

def process_image(name):
    sci=fits.open('{}.fits'.format(name))
    <process>

if __name__ == '__main__':
    pool = Pool()                         # Create a multiprocessing Pool
    pool.map(process_image, data_inputs)  # process data_inputs iterable with pool

Sie können verwenden multiprocessing.Pool:

from multiprocessing import Pool
class Engine(object):
    def __init__(self, parameters):
        self.parameters = parameters
    def __call__(self, filename):
        sci = fits.open(filename + '.fits')
        manipulated = manipulate_image(sci, self.parameters)
        return manipulated

try:
    pool = Pool(8) # on 8 processors
    engine = Engine(my_parameters)
    data_outputs = pool.map(engine, data_inputs)
finally: # To make sure processes are closed in the end, even if errors happen
    pool.close()
    pool.join()

Alternative

with Pool() as pool: 
    pool.map(fits.open, [name + '.fits' for name in datainput])