einzelne datei aus einer riesigen tgz datei extrahieren

Ich habe eine riesige TAR-Datei (ca. 500G) und möchte nicht nur eine einzige Datei daraus extrahieren.
Beim Ausführen tar -xvf file.tgz path/to/filescheint es jedoch, als würde der gesamte Inhalt immer noch in den Speicher geladen, und das Extrahieren dauert über eine Stunde. Ich habe auch versucht, --exclude=ignore.txtignore.txt als Musterliste zu verwenden , um zu verhindern, dass er sinnlose Pfade durchläuft, aber das scheint nicht zu funktionieren.

Vielleicht verstehe ich tar nicht ... Gibt es eine Möglichkeit, die Datei schnell zu extrahieren?

Leider müssen Sie zum Entpacken eines einzelnen .tar.gzArchivmitglieds das gesamte Archiv verarbeiten, und Sie können nicht viel tun, um es zu reparieren.

Hier arbeiten .zip(und einige andere Formate wie .rar) Archive viel besser, da das zipFormat ein zentrales Verzeichnis aller darin enthaltenen Dateien mit direkten Offsets aufweist, die auf die Mitte der zipDatei verweisen , sodass Archivmitglieder schnell extrahiert werden können, ohne das Ganze zu verarbeiten.

Sie fragen sich vielleicht, warum die Verarbeitung .tar.gzso langsam ist?

.tar.gz(oft abgekürzt als .tgz) wird einfach .tarmit gzipCompressor komprimiert archiviert . gzipStreaming-Kompressor, der nur mit einer Datei arbeiten kann. Wenn Sie einen Teil davon zu bekommen , wollen gzipStrom, haben Sie es als Ganzes zu dekomprimieren, und das ist , was tötet es wirklich für .tar.gz(und .tar.bz2, .tar.xzund andere ähnliche Formate basieren auf .tar).

.tarFormat ist eigentlich sehr, sehr einfach. Es handelt sich lediglich um einen Stream von 512-Byte-Datei- oder -Verzeichnis-Headern (Name, Größe usw.), gefolgt von Datei- oder Verzeichnisinhalten (bei Bedarf mit 0 Byte auf 512-Blockgröße aufgefüllt). Wenn Sie für einen Header einen Block von insgesamt null 512 beobachten, bedeutet dies das Ende des .tarArchivs.

Einige Leute denken, dass nicht einmal .tarArchivmitglieder schnell darauf zugreifen können, aber das ist nicht ganz richtig. Wenn das .tarArchiv nur wenige große Dateien enthält, können Sie tatsächlich schnell in den nächsten Header suchen und so das erforderliche Archivmitglied in wenigen Suchvorgängen finden (es können jedoch immer noch so viele Suchvorgänge erforderlich sein, wie Archivmitglieder vorhanden sind). Wenn Ihr .tarArchiv viele winzige Dateien enthält, ist ein schneller Abruf von Mitgliedern auch ohne Komprimierung praktisch nicht möglich .tar.

Wenn Sie nur eine Datei aus einer großen TAR-Datei extrahieren, verwenden Sie GNU tar, und Sie können garantieren, dass die TAR-Datei nie angehängt wurde. Dann können Sie einen erheblichen Leistungsschub erzielen, indem Sie verwenden --occurrence.

Diese Option weist tar an, anzuhalten, sobald es das erste Vorkommen jeder von Ihnen angeforderten Datei findet, z

tar xf large-backup.tar --occurrence etc/passwd etc/shadow

Spoolt nicht durch den gesamten Tarball, nachdem eine Kopie von jedem von passwdund gefunden wurde shadow, sondern stoppt. Wenn diese Dateien gegen Ende angezeigt werden, ist der Leistungsgewinn nicht viel, aber wenn sie auf halbem Weg durch eine 500G-Datei angezeigt werden, sparen Sie viel Zeit.

Für Benutzer, die tarSingle-Shot-Backups durchführen und keine echten Bandlaufwerke verwenden, ist diese Situation wahrscheinlich der typische Fall.

Beachten Sie, dass Sie auch passieren können --occurrence=NUMBERdas Auftreten jeder Datei abzurufen, die , wenn Sie hilft wissen , dass es gibt mehrere Versionen im Archiv. Standardmäßig ist das Verhalten gleich a NUMBERvon 1.

Leider enthält das tar-Dateiformat kein zentrales Inhaltsverzeichnis. Daher muss das Archiv nacheinander gelesen werden, um eine bestimmte Datei zu finden. Es wurde ursprünglich für Bandsicherungen entwickelt ("tar" stammt von t ape ar chive), die eine solche Operation auf keinen Fall unterstützt hätten.

Sie müssen also wahrscheinlich nur warten.

Wenn Sie mit einem großen Tarball arbeiten, verwenden Sie:

--fast-readpath/to/fileIn diesem Fall wird nur der erste Archiveintrag extrahiert, der mit dem Dateinamenoperanden übereinstimmt - der in Tarball ohnehin immer eindeutig ist

tar -xvf file.tgz --fast-read path/to/file

Der obige Befehl sucht, bis er eine Übereinstimmung findet, und beendet dann den Vorgang