Ich suche nach einer einfachen Möglichkeit (einem Befehl oder einer Reihe von Befehlen, die wahrscheinlich einschließen find), um doppelte Dateien in zwei Verzeichnissen zu finden und die Dateien in einem Verzeichnis durch Hardlinks der Dateien im anderen Verzeichnis zu ersetzen. Hier ist die...
Ich habe keine Erfahrung mit btrfs, aber es wird angekündigt, dass es möglich ist, Dateien zu de-duplizieren. In meiner Anwendung müsste ich ganze Verzeichnisbäume duplizieren. Nach dem, was ich gelernt habe, wird btrfs nur in einigen Post-Scan-Vorgängen dupliziert, nicht sofort. Sogar die bloße...
Auf der Suche nach Deduplizierungswerkzeugen unter Linux gibt es viele, siehe z . B. diese Wiki-Seite . Fast alle Skripte erkennen entweder nur die doppelten Dateinamen oder entfernen doppelte Dateien, indem sie mit einer einzelnen Kopie verknüpft werden. Mit dem Aufstieg von btrfs würde es eine...
Welche Lösungen stehen für Blockebenen oder detailliertere Deduplizierungen zur Verfügung? Es gibt dateibasierte - mit dem "Copy-On-Write" -Ansatz. Ich suche nach "Copy-on-Write" auf Blockebene, damit ich regelmäßig nach allgemeinen Blöcken oder - vorzugsweise - Teilen von Dateien suchen, diese...
Diese Frage / Antwort bietet einige gute Lösungen zum Löschen identischer Zeilen in einer Datei, funktioniert jedoch in meinem Fall nicht, da die ansonsten doppelten Zeilen einen Zeitstempel haben. Ist es möglich, awk anzuweisen, die ersten 26 Zeichen einer Zeile bei der Ermittlung von Duplikaten...
Wie kann man eine TAR-Datei generieren, damit der Inhalt geteerter Dateien wie in den Originaldateien blockausgerichtet ist, sodass man von einer Deduplizierung auf Blockebene profitieren kann ( https://unix.stackexchange.com/a/208847/9689 ) ? ? (Stimmt es, dass das Tar-Format nichts Eigenes...
Ich habe ~ 30k Dateien. Jede Datei enthält ~ 100.000 Zeilen. Eine Zeile enthält keine Leerzeichen. Die Zeilen innerhalb einer einzelnen Datei werden sortiert und frei dupliziert. Mein Ziel: Ich möchte alle doppelten Zeilen in zwei oder mehr Dateien sowie die Namen der Dateien finden, die doppelte...
Ich habe mein Btrfs-Dateisystem mit Bedup dedupliziert, daher sind jetzt alle doppelten Dateien (über einer bestimmten Größe) "Reflink" -Kopien. Gibt es eine Möglichkeit, unter Berücksichtigung eines Dateinamens zu sehen, welche anderen Dateien dieselben Reflinks