Python verkettet Textdateien

Ich habe eine Liste von 20 Dateinamen, wie ['file1.txt', 'file2.txt', ...] . Ich möchte ein Python-Skript schreiben, um diese Dateien zu einer neuen Datei zu verketten. Ich könnte jede Datei durch öffnen f = open(...), Zeile für Zeile durch Aufrufen lesen f.readline()und jede Zeile in diese neue Datei schreiben. Es scheint mir nicht sehr "elegant" zu sein, besonders der Teil, in dem ich Zeile für Zeile lesen / schreiben muss.

Gibt es eine "elegantere" Möglichkeit, dies in Python zu tun?

Das sollte es tun

Für große Dateien:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Für kleine Dateien:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

… Und noch eine interessante, an die ich gedacht habe :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

Leider hinterlässt diese letzte Methode einige offene Dateideskriptoren, um die sich der GC sowieso kümmern sollte. Ich fand es nur interessant

Verwenden Sie shutil.copyfileobj.

Es liest automatisch die Eingabedateien Stück für Stück für Sie, was effizienter ist und die Eingabedateien einliest und auch dann funktioniert, wenn einige der Eingabedateien zu groß sind, um in den Speicher zu passen:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

Genau dafür ist Fileinput gedacht :

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

Für diesen Anwendungsfall ist es nicht viel einfacher, als nur manuell über die Dateien zu iterieren. In anderen Fällen ist es jedoch sehr praktisch, einen einzigen Iterator zu haben, der über alle Dateien iteriert, als wären sie eine einzelne Datei. (Auch die Tatsache, dass fileinputjede Datei geschlossen wird, sobald sie fertig ist, bedeutet, dass keine withoder jede Datei erforderlich ist close, aber das ist nur eine einzeilige Einsparung, keine so große Sache.)

Es gibt noch einige andere nützliche Funktionen fileinput, z. B. die Möglichkeit, Dateien direkt durch Filtern jeder Zeile zu ändern.

Wie in den Kommentaren erwähnt und in einem anderen Beitrag besprochen , fileinputfunktioniert Python 2.7 nicht wie angegeben. Hier geringfügige Änderungen, um den Code Python 2.7-kompatibel zu machen

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Ich weiß nichts über Eleganz, aber das funktioniert:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

Was ist los mit UNIX-Befehlen? (vorausgesetzt, Sie arbeiten nicht unter Windows):

ls | xargs cat | tee output.txt erledigt den Job (Sie können ihn von Python mit Unterprozess aufrufen, wenn Sie möchten)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

Ein einfacher Benchmark zeigt, dass das Shutil eine bessere Leistung erbringt.

Eine Alternative zur @ inspectorG4dget-Antwort (beste Antwort bis zum 29.03.2016). Ich habe mit 3 Dateien von 436MB getestet.

@ inspectorG4dget Lösung: 162 Sekunden

Die folgende Lösung: 125 Sekunden

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

Die Idee ist, eine Batch-Datei zu erstellen und auszuführen, wobei die "alte gute Technologie" genutzt wird. Seine Halbpython arbeitet aber schneller. Funktioniert für Windows.

Wenn sich viele Dateien im Verzeichnis befinden, ist es glob2möglicherweise besser, eine Liste mit Dateinamen zu erstellen, als sie manuell zu schreiben.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

Überprüfen Sie die .read () -Methode des File-Objekts:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Sie könnten so etwas tun wie:

concat = ""
for file in files:
    concat += open(file).read()

oder eine "elegantere" Python-Art:

concat = ''.join([open(f).read() for f in files])

was laut diesem Artikel: http://www.skymind.com/~ocrow/python_string/ auch am schnellsten wäre.

Wenn die Dateien nicht gigantisch sind:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

Wenn die Dateien zu groß sind, um vollständig gelesen und im RAM gespeichert zu werden, muss der Algorithmus etwas anders sein, um jede Datei zu lesen, die read(10000)beispielsweise von Blöcken fester Länge in einer Schleife kopiert werden soll .

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)