Verbinden Sie große überlappende Dateien

Ich versuche, eine (MySQL-) Datenbank von einer abgestürzten Festplatte wiederherzustellen. Es gibt eine Reihe von aktuellen Dumps, bei denen es sich um beschädigte bz2-Dateien handelt. Da sich die Datenbank nicht häufig ändert, sollten die Speicherauszüge nahezu identisch sein. bzip2recoverEtwa 70-80% der Chunks wurden aus den Dateien wiederhergestellt, sodass die meisten, wenn nicht alle Daten wiederhergestellt werden konnten, indem die Überlappungen in den Dateien gefunden und zusammengefügt wurden. Zum Beispiel:

dump1: |-----------------|xxxxxxxxxxxxxxxx|------------------|
dump2: |-------------|----------------|xxxxxxxxxxxxxxxxxxxxxx|
dump3: |xxxxxxxxxxxxxxxxxxxxxx|---------------|xxxxxxxxxxxxxx|

hier kann ich feststellen, dass der erste Block in dump1 durch den zweiten in dump2 fortgesetzt wird, der durch den zweiten in dump3 fortgesetzt wird, der durch den dritten in dump1 fortgesetzt wird. Durch das Zusammenfügen dieser vier Dateien habe ich die Daten wiederhergestellt.

Das Problem ist, dass es Tausende von Dateien gibt (ich habe zehn Speicherauszüge mit jeweils ~ 400 1M-Blöcken). Gibt es ein Tool, das diesen Prozess oder zumindest Teile davon automatisieren könnte (wie ein Linux-Befehl, der nach der längsten Überlappung zwischen dem Ende einer Datei und dem Anfang einer anderen sucht)?

Ich brauchte genau das Gleiche. Ich habe mir diesen überraschend schnellen Python-Code ausgedacht (er hat zwei 2-GB-Dateien mit einer Überlappung von 800 MB in 30 Sekunden zusammengefügt.) Passen Sie die Überlappungsgröße nach Bedarf für Ihre Chunks an. Es sollte so lang wie möglich sein, aber kleiner als die tatsächliche Überlappungsgröße.

#!/usr/bin/env python

import sys

overlap_size = 100000000 # 100MB

a = file(sys.argv[1]).read()
b = file(sys.argv[2]).read()
end = a[-overlap_size:]
offset = b.find(end)

c = file(sys.argv[3], 'wb')
c.write(a[:-overlap_size])
c.write(b[offset:])
c.close()

Verwendungszweck:

./join.py chunkA chunkB outputAB
./join.py outputAB chunkC outputABC
./join.py outputABC chunkD outputABCD
...etc

Ich habe kein Werkzeug für Sie, um die Arbeit vollständig zu erledigen, aber Sie können Werkzeuge verwenden wie:

cmp -l dump1 dump2

Dadurch erhalten Sie eine Liste der verschiedenen Bytes und ihrer Offsets. Bei der Überlappung wird kein Versatz von gedruckt cmp.

Sie können den ddBefehl auch verwenden, um einen Teil eines Speicherauszugs zu kopieren und an einen anderen Speicherauszug anzuhängen.

Sie können versuchen, ein eigenes Skript zu schreiben, das solche Tools verwendet, oder Sie können ein kleines C-Programm schreiben, das diese Dateien vergleicht und die erforderlichen Teile kopiert.

Ich hoffe, Sie finden diese Ideen hilfreich.

Wie ein Linux-Befehl, der nach der längsten Überlappung zwischen dem Ende einer Datei und dem Anfang einer anderen sucht

Traditionell wäre dies diff. Es wird der "Unterschied" von zwei gegebenen Textdateien als Ausgabe zusammen mit einigen Steuerinformationen erzeugt (was hinzugefügt wurde, was entfernt wurde, welche Zeilen überprüft werden sollen). Der patchBefehl kann den Vorgang umkehren.

Theoretisch sollten Sie in der Lage sein, diffIhre verschiedenen Chunks zu verwenden, ein wenig an der Ausgabe zu arbeiten (z. B. die Befehle zum Löschen von Zeilen zu entfernen) und sie an patchfolgende Adresse weiterzuleiten :

# echo 'this
> is
> a' > file1
# echo 'a
> chunked' > file2
# echo 'chunked
> data
> file' > file3

# diff file2 file1 | egrep -v '^>' | patch -p0 -R file1 -o file12
patching file file1

# cat file12
this
is
a
chunked

# diff file3 file12 | egrep -v '^>' | patch -p0 -R file12 -o -
patching file file12
this
is
a
chunked
data
file
#

Beachten Sie, dass bei sehr großen Eingabedateien diffviel Speicher benötigt wird.

Ich denke, Sie müssen ein solches Tool einfach selbst schreiben.

Beginnen Sie mit der größten Datei und kopieren Sie sie als Bild in den Speicher.

Führen Sie dann alle Dateien nacheinander durch und suchen Sie nach einer Überlappung mit dem ersten oder letzten Teil des aktuellen Speicherabbilds. Wenn Sie eine Überlappung finden, erweitern Sie das Speicherbild.

Wiederholen Sie diesen Vorgang, bis Sie alle Dateien durchlaufen haben, ohne Bytes hinzuzufügen. Schreiben Sie dann das Speicherbild in eine Datei.