Wie kann Dropbox-Version / große Dateien hochladen? [geschlossen]

28

Ich besitze ein kostenloses Dropbox-Konto (2 GB) und habe mich gefragt, wie die Versionierung großer Dateien funktioniert.

Ich habe eine vollständige Sicherung aller meiner Webdateien, die auf Websites mit etwas mehr als 1 GB gespeichert sind. Nach dem erstmaligen Hochladen von 1 GB wird bei jeder Synchronisierung das Delta der Datei durch dropbox ermittelt, oder muss die gesamte Datei erneut auf die Version hochgeladen werden?

Es wäre cool, immer eine aktuelle Version einer großen Datei zu haben, aber ich möchte meine Bandbreite nicht jedes Mal beenden, wenn ich 1 GB hochlade.

Ist das möglich?

Vielen Dank,

Barfoon
quelle

Antworten:

36

Dropbox verwendet einen binären Diff-Algorithmus, um alle Dateien in Blöcke aufzuteilen und nur Blöcke hochzuladen, die sich noch nicht in der Cloud befinden. All dies erfolgt lokal auf Ihrem Computer.

Dropbox verwendet nicht nur Ihre Dateien, die Sie bereits hochgeladen haben, sondern fasst alle Dateien in einer Datenbank mit Blöcken zusammen und vergleicht jeden lokalen Block-Hash mit dieser Datenbank.

Dies bedeutet, dass, wenn eine andere Person dieselbe Datei wie Sie hochgeladen hat (z. B. die neueste Ubuntu-ISO), der Upload sofort erfolgt, da nichts hochgeladen werden muss. Wenn Sie jedoch eine Datei aktualisieren, die sich regelmäßig ändert, z. B. Ihre Sicherungsdatei, dann werden nur die Änderungen hochgeladen. Wenn Sie eine vollständig eindeutige Datei hochladen, müssen Sie darauf warten, dass alle Dateien hochgeladen werden.

Muhen
quelle
4
Irgendwelche Hinweise darauf? Es ist ziemlich interessant
STW
1
Das Dropbox-Team spricht von Zeit zu Zeit in den Foren darüber (besonders Arash F, obwohl sie heutzutage sehr beschäftigt sind).
Moo
3
Bedeutet dies, dass nur geänderte Blöcke einer verschlüsselten Datei (z. B. eines TrueCrypt-Volumes) hochgeladen werden?
Will M
1
Will - ja, ich glaube, einige Leute setzen TrueCrypt mit großem Erfolg in ihren Dropbox-Ordnern ein.
Moo
1
Der letzte Teil Ihrer Antwort ist nicht mehr wahr. Nach dem Debakel "Dropship" wurden Änderungen vorgenommen. Es ist wahrscheinlich, dass sie intern immer noch enttäuscht werden. Wenn Sie jedoch die Datei "windows8.iso" (die vermutlich bereits von jemandem erstellt wurde) in Ihren Ordner aufnehmen, müssen Sie jedes Byte hochladen.
DanO
10

Für das, was es wert ist, behauptet Dropbox, Hashes auf jeweils 4 MB jeder Datei zu erstellen. Auf diese Weise müssen Sie, wenn Sie zusammenhängende 2 MB einer 100-MB-Datei ändern, wahrscheinlich nur 4 MB hochladen (oder 8 MB, wenn Sie in einen zweiten 4-MB-Block übergehen), um die Datei erneut zu synchronisieren.

Die Hashes, die wir verwenden, sind nur für die 4-MB-Datei-Chunks

Quelle: https://blogs.dropbox.com/tech/2016/05/inside-the-magic-pocket/

mächtigachtzig
quelle
Es ist jedoch nicht klar, ob die 4 MB vor oder nach der Komprimierung und anderen Operationen sind
Walter Tross
2

Es ist auch wichtig hervorzuheben, dass beim Ändern nicht die gesamte Datei auf einmal hochgeladen wird. Wenn Sie beispielsweise eine eindeutige Dateigröße von 2 GB haben, beispielsweise für ein verschlüsseltes Laufwerk, das Sie besitzen (wie bei Verwendung von truecrypt oder pgpdisk), und Sie nur einige Dateien auf dem verschlüsselten Laufwerk ändern, lädt dropbox nur die Blöcke hoch das hat sich effektiv geändert. Wenn Sie beispielsweise Ihre pgpdisk-Datei mit 2 GB in die Dropbox hochladen und dann beispielsweise 100 MB dieser 2 GB ändern, ist die Dropbox intelligent genug, um nur Änderungen zu erkennen und zu aktualisieren . So verschwenden Sie nicht Ihre Upload-Bandbreite, indem Sie bereits vorhandene Inhalte hochladen.

Eine weitere Funktion, an der das Dropbox-Team gearbeitet hat, besteht darin, Dropbox so zu konfigurieren, dass es andere Instanzen von Dropbox erkennt, die in Ihrem lokalen Netzwerk ausgeführt werden, und die Informationen zwischen ihnen zu synchronisieren. Sie haben beispielsweise einen Laptop und einen Desktop und beide haben dasselbe Dropbox-Konto. Außerdem aktualisieren Sie Ihre Dateien auf Ihrem Desktop - und der Desktop wird sofort mit der "Cloud" synchronisiert -, wenn Sie Ihren Laptop anschließen, anstatt zu In der Cloud lädt Dropbox das Diff stattdessen direkt von Ihrem Desktop-Computer herunter und verschwendet nicht Ihre Download-Bandbreite. Dies wird noch kommen - wird aber ein süßes Feature sein!

Macaubas
quelle
1
Sie veröffentlichten am Wochenende ein experimentelles Build mit Peer-to-Peer-Synchronisierungsfunktion.
Moo
1
Jetzt ist eine stabile Funktion.
Wiliam