Sichern von Google Cloud Storage-Buckets

7

Grundsätzlich lautet meine Frage: Wie kann ich meine Google Cloud Storage-Bucket-Daten am besten schützen?

Ich verstehe, dass die Verwendung der Objektversionierung eine erste Maßnahme ist, die Sie ergreifen können, um sich vor versehentlichem Löschen von Daten zu schützen. Ich möchte jedoch auch Offsite-Backups durchführen (entweder lokal oder bei einem anderen Anbieter wie S3). Gibt es empfohlene Möglichkeiten, dies zu tun?

Eine Richtung, in die ich suchte, war, inkrementelle, rsynclokale Kopien meiner Eimer aufzubewahren. Ich hatte gehofft gsutil, einen syncBefehl haben zu können (wie es der s3cmdFall ist), aber es scheint nicht so.

Das Sichern bei einem anderen Cloud-Anbieter wie S3 wäre ebenfalls praktisch, aber meines Wissens besteht die einzige Möglichkeit darin, alle Daten auf eine Instanz (entweder im Google- oder Amazon-Rechenzentrum) herunterzuladen und dann in den Ziel-Bucket hochzuladen . Dies würde jedoch wiederum eine inkrementelle Synchronisierung erfordern.

backup google-app-engine google-cloud-storage Remko
quelle
gsutilmag ausreichend sein, aber falls Sie es nicht wissen, hat rclone viele Optionen (und, obwohl außerhalb des Themas, eine neue "Verschlüsselung")
e2-e4

Antworten:

4

gsutil verfügt über einen Befehl rsync (eingeführt ab Version 4). Sie können dies verwenden, um Daten aus Ihrem Bucket mit einer lokalen Festplatte oder mit S3 zu synchronisieren.

Mike Schwartz
quelle
So offensichtlich. Ich hätte schwören können, dass ich mehrmals danach gesucht und es nicht gefunden habe. Vielen Dank!
Remko
0

Remko,

Sie können https://github.com/minio/mc verwenden . Minio Client aka mc ist in Golang geschrieben und unter Apache License Version 2 veröffentlicht. Sie können dazu die Operation "mc mirror" ausprobieren.

$ mc mirror localDir s3/RemoteDir gcs/RemoteDir

localDir: Local directory
RemoteDir: Your bucket on S3  
s3 alias https://s3.amazonaws.com with signature version support "S3v4"
gcs alias https://storage.googleapis.com with signature version support "S3v2"
RemoteDir: Your bucket on google cloud storage

Ich hoffe das hilft & Patch / Beitrag zum Minio Projekt ist immer willkommen. :)

koolhead17
quelle