Diese Frage wurde von https://superuser.com/questions/374386/how-to-store-and-preserve-lots-of-data inspiriert . Es gab andere ähnliche Fragen, aber keine mit denselben Kriterien.

Dies sind zwei Fragen in einer.

1. Wie speichert man finanzielle / kritische Aufzeichnungen, die alles andere als ein Feuer überstehen und über Jahrzehnte verfügbar sein sollten?
2. Nehmen wir an, ich möchte Familienfotos / -videos speichern und möchte, dass die Leute sie in 100 Jahren im Speicher finden und sie trotzdem verwenden können. Wie würde das gemacht werden?

Kriterien

1. Langfristig bedeutet 30+ Jahre garantiert . 100+ Jahre Durchschnitt. [Wenn dies nicht praktikabel ist, verwenden Sie die nächstgelegene Lösung]
2. Hohe Lautstärke bedeutet ein paar Terabyte.
3. Die Antworten können kompromisslose / industrielle Lösungen oder praktische Lösungen für Heimbüros / kleine Unternehmen sein.
4. Medien sind während der Zeitspanne nicht aktiv. (Wenn Sie also Festplatten vorschlagen, drehen sich diese nicht).
5. Darüber hinaus besteht keine Erwartung, dass diese Archive gelesen werden müssen. Sie sind für Notfälle oder "für zukünftige Generationen" da.
6. Sollte keine Wartung erfordern (wenn überhaupt möglich).

Meine Gedanken:

1. CD-Rs / DVD-Rs haben sich für mich auch kurzfristig als ein schreckliches Medium für Backups erwiesen. Sie scheinen sehr zerbrechlich zu sein und ihre Daten auch in makellosem Zustand innerhalb kürzester Zeit zu verlieren.
2. Ich kann nicht anders, als zu glauben, dass das Speichern von Daten auf ein paar 1-TB-Festplatten und das anschließende korrekte Hochfahren nach ein oder zwei Jahrzehnten eine schreckliche Idee ist. Liege ich falsch?
3. Industrielle Bandlaufwerke scheinen eine gangbare Option zu sein?

Papier

Abgesehen von Archivierungstinte auf Archivpapier in versiegelter Aufbewahrung hat kein Medium nachweislich eine durchschnittliche Lebensdauer von 100 Jahren ohne jegliche Wartung.

Archivpapier

Ältere Papiere wurden aus Materialien wie Leinen und Hanf hergestellt und sind daher von Natur aus alkalisch. oder säurefrei, also jahrhundertelang. Papier des 20. Jahrhunderts und das meiste moderne Papier wird normalerweise aus Holzzellstoff hergestellt, der oft sauer ist und sich nicht lange hält.

Archivierungsfarben

Diese dauerhaften, lichtbeständigen Tinten sind licht-, wärme- und wasserfest und enthalten keine Verunreinigungen, die die Beständigkeit von Papier oder Fotomaterial beeinträchtigen können. Schwarze aktinische Tinten sind chemisch stabil und enthalten ein anorganisches Pigment, das nicht wie andere Tintenpigmente zur Aufnahme von Verunreinigungen neigt.

Redundanter Speicher

Torvalds hat einmal gesagt

Nur Weicheier verwenden Bandsicherungen: _wirkliche_ Männer laden ihre wichtigen Daten einfach auf ftp hoch und lassen sie vom Rest der Welt spiegeln

Was bedeutet, dass Sie sich nicht auf eine einzelne Kopie auf einem einzelnen Medium verlassen sollten.

Keine magnetischen Medien?

http://www.zdnet.com/blog/perlow/the-bell-tolls-for-your-magnetic-media/9364?tag=content;siu-container

• Typisches Beispiel für den unwiederbringlichen Abbau magnetischer Medien.
• Probleme mit Hardware und Software (und Datenformaten)

Keine spezialisierten Systeme

Im Jahr 2002 gab es große Befürchtungen, dass die Discs unlesbar werden könnten, da Computer, die das Format lesen können, seltener geworden waren und Laufwerke, die auf die Discs zugreifen können, noch seltener. Abgesehen von der Schwierigkeit, den Originalcode zu emulieren, bestand ein Hauptproblem darin, dass die Standbilder als analoges Einzelbildvideo auf der Laserdisc gespeichert wurden.

http://en.wikipedia.org/wiki/BBC_Domesday_Project#Preservation

Langfristige persönliche Aufbewahrung

http://www.zdnet.com/blog/storage/long-term-personal-data-storage/376

• Sowohl das Medium als auch das Format können unlesbar werden.
• drucke mit pigmenttinten auf säurefreiem papier und lagere es an einem kühlen, trockenen und dunklen ort.
• Das erste Problem ist die Auswahl von Datenformaten für maximale Langlebigkeit.
• Vermeiden Sie proprietäre Formate
• USCSF überträgt alle Originalbänder - viele davon in veralteten Formaten wie BetaSP und VHS - auf das 75-MBit-motionJPEG2000-Format

Kurze Antwort

Aufgrund der Entropie (auch Tod genannt!) Ist es unmöglich, einen langen Zeitrahmen zu garantieren. Digitale Daten zerfallen und sterben, genau wie alles andere im Universum. Aber es kann verlangsamt werden.

Derzeit gibt es keinen ausfallsicheren und wissenschaftlich erprobten Weg, um eine Archivierung von mehr als 30 Jahren kalter Daten zu gewährleisten. Einige Projekte zielen darauf ab, wie das Rosetta Disks-Projekt des Long Now-Museums , obwohl sie immer noch sehr kostspielig und mit einer geringen Datendichte (ca. 50 MB) sind.

In der Zwischenzeit können Sie wissenschaftlich nachgewiesene belastbare optische Datenträger für die Kühllagerung wie Blu-ray Discs vom Typ HTL von Panasonic oder DVD + Rs von Archivqualität wie Verbatim Gold Archival verwenden und diese in luftdichten Kartons an einem weichen Ort aufbewahren (vermeiden) hohe Temperatur) und aus dem Licht.

Seien Sie auch redundant : Erstellen Sie mehrere Kopien Ihrer Daten (mindestens 4), und berechnen Sie Hashes, um regelmäßig zu überprüfen, ob alles in Ordnung ist. Sie sollten Ihre Daten alle paar Jahre auf neuen Datenträgern neu schreiben. Verwenden Sie außerdem viele Fehlerkorrekturcodes , damit Sie Ihre beschädigten Daten reparieren können!

Lange Antwort

Warum sind Daten mit der Zeit verfälscht? Die Antwort liegt in einem Wort: Entropie . Dies ist eine der primären und unvermeidlichen Kräfte des Universums, die dazu führt, dass Systeme mit der Zeit immer weniger geordnet werden. Datenkorruption ist genau das: eine Störung in der Reihenfolge der Bits. Mit anderen Worten, das Universum hasst Ihre Daten .

Entropie zu bekämpfen ist genau wie den Tod zu bekämpfen: Es ist unwahrscheinlich, dass Sie jemals Erfolg haben werden. Aber Sie können Wege finden, um den Tod zu verlangsamen, genau wie Sie die Entropie verlangsamen können. Sie können Entropie auch durch Reparieren der Verfälschungen austricksen (mit anderen Worten: Sie können die Verfälschungen nicht stoppen, aber Sie können sie reparieren, nachdem Sie zuvor Maßnahmen ergriffen haben!). Genau wie bei allem, was mit Leben und Tod zu tun hat, gibt es weder eine Wunderwaffe noch eine Lösung für alle, und die besten Lösungen erfordern, dass Sie sich direkt an der digitalen Kuratierung Ihrer Daten beteiligen. Und selbst wenn Sie alles richtig machen, ist die Sicherheit Ihrer Daten nicht garantiert, sondern Sie maximieren nur Ihre Chancen.

Nun zu den guten Nachrichten: Wenn Sie qualitativ hochwertige Speichermedien und gute Archivierungs- / Kurationsstrategien kombinieren, gibt es jetzt recht effiziente Möglichkeiten, Ihre Daten zu speichern : Sie sollten auf Fehler ausgelegt sein .

Was sind gute Kurationsstrategien? Lassen Sie uns eines klarstellen: Die meisten Informationen beziehen sich auf Backups, nicht auf die Archivierung. Das Problem ist, dass die meisten Leute ihr Wissen über Backup-Strategien in die Archivierung übertragen werden, und daher sind viele Mythen mittlerweile weit verbreitet. In der Tat sind das Speichern von Daten für einige Jahre (Backup) und das Speichern von Daten für eine möglichst lange Zeitspanne von mindestens Jahrzehnten (Archivierung) völlig unterschiedliche Ziele und erfordern daher unterschiedliche Tools und Strategien.

Zum Glück gibt es eine ganze Reihe von Forschungsergebnissen und wissenschaftlichen Ergebnissen. Ich rate daher, eher auf diese wissenschaftlichen Veröffentlichungen als auf Foren oder Zeitschriften zu verweisen. Hier fasse ich einige meiner Lesungen zusammen.

Seien Sie auch vorsichtig mit Behauptungen und nicht unabhängigen wissenschaftlichen Studien, die behaupten, dass das oder das Speichermedium perfekt ist. Erinnern Sie sich an das berühmte BBC Domesday-Projekt: «Digital Domesday Book dauert 15 Jahre, nicht 1000» . Überprüfen Sie die Studien immer mit wirklich unabhängigen Papieren und gehen Sie bei fehlenden immer davon aus, dass das Speichermedium nicht für die Archivierung geeignet ist.

Lassen Sie uns klären, wonach Sie suchen (anhand Ihrer Frage):

• Langzeitarchivierung : Sie möchten Kopien Ihrer vernünftigen, nicht reproduzierbaren "persönlichen" Daten aufbewahren. Archivierung ist grundlegend anders als eine Sicherung , wie auch hier erklärt : Sicherungen sind für dynamische technische Daten , die regelmäßig aktualisiert werden und damit in Sicherungen werden müssen aktualisiert (dh OS, Arbeitsordner Layout usw.), während Archive sind statische Daten , die Sie würden wahrscheinlich nur einmal schreiben und nur von Zeit zu Zeit lesen . Archive sind für intemporäre Daten bestimmt , in der Regel personenbezogen.

• Kühlhaus : Sie möchten die Pflege Ihrer archivierten Daten so weit wie möglich vermeiden. Dies ist eine GROSSE Einschränkung, da das Medium Komponenten und eine Schreibmethode verwenden muss, die sehr lange stabil bleiben, ohne dass Sie sie manipulieren müssen und ohne dass eine Verbindung zu einem Computer oder einer Stromversorgung erforderlich ist.

Um unsere Analyse zu vereinfachen, untersuchen wir zunächst Kühllagerlösungen und dann langfristige Archivierungsstrategien.

Kältespeichermedien

Wir haben oben definiert, was ein gutes Kältespeichermedium sein soll: Es sollte Daten für eine lange Zeit ohne Manipulation aufbewahren (deshalb heißt es "kalt": Sie können es einfach in einem Schrank aufbewahren und müssen es nicht einstecken einen Computer zur Datenpflege).

Papier scheint das belastbarste Speichermedium der Welt zu sein, da wir oft sehr alte Manuskripte aus der Antike finden. Papier weist jedoch große Nachteile auf: Erstens ist die Datendichte sehr gering (es kann nicht mehr als ~ 100 KB auf Papier gespeichert werden, selbst bei kleinen Zeichen und Computerwerkzeugen), und sie verschlechtert sich im Laufe der Zeit, ohne dass dies überwacht werden kann: Papier leiden, genau wie Festplatten, unter stiller Korruption. Während Sie stille Verfälschungen digitaler Daten überwachen können, ist dies auf Papier nicht möglich. Sie können beispielsweise nicht garantieren, dass ein Bild über nur ein Jahrzehnt hinweg die gleichen Farben behält: Die Farben werden schlechter, und Sie können nicht feststellen, welche Farben die Originalfarben waren. Natürlich können Sie kuratieren Ihre Bilder, wenn Sie ein Profi in der Bildwiederherstellung sind, dies ist jedoch sehr zeitaufwendig, während Sie mit digitalen Daten diesen Kurations- und Wiederherstellungsprozess automatisieren können.

Festplatten (HDDs) sind bekannt haben eine durchschnittliche Lebensdauer von 3 bis 8 Jahren: sie gerade nicht im Laufe der Zeit verschlechtert, werden sie garantiert schließlich sterben (dh: nicht zugänglich). Die folgenden Kurven zeigen die Tendenz, dass alle Festplatten mit einer erstaunlichen Geschwindigkeit ausfallen:

Badewannenkurve, die die Entwicklung der HDD-Ausfallrate bei gegebenem Fehlertyp zeigt (gilt auch für alle entwickelten Geräte):

Kurve zeigt die Ausfallrate der Festplatte, alle Fehlertypen zusammengeführt:

Quelle: Backblaze

Sie können sehen, dass es drei Arten von Festplatten gibt, die relativ zu ihrem Versagen absterben: die schnell absterbenden (z. B. Herstellungsfehler, Festplatten mit schlechter Qualität, Kopfversagen usw.), die Festplatten mit konstanter Absterberate (gute Herstellung, sie sterben für verschiedene " Dies ist aus "normalen" Gründen bei den meisten Festplatten der Fall, und schließlich bei den robusten, die etwas länger als die meisten Festplatten leben und bald nach den "normalen" aussterben (z. B. glückliche Festplatten, die nicht zu häufig verwendet werden). ideale Umgebungsbedingungen etc ..). Auf diese Weise können Sie sicher sein, dass Ihre Festplatte nicht mehr funktioniert.

Warum sterben Festplatten so oft? Ich meine, die Daten sind auf eine Magnetplatte geschrieben, und das Magnetfeld kann Jahrzehnte andauern, bevor es verschwindet. Der Grund, warum sie sterben, ist, dass das Speichermedium (Magnetplatte) und die Lesehardware (Elektronikplatine + Drehkopf) gekoppelt sind : Sie können nicht getrennt werden, Sie können die Magnetplatte nicht einfach entnehmen und mit einem anderen Kopf lesen, weil zuerst Die elektronische Karte (die die physischen Daten in digitale konvertiert) ist für fast jede Festplatte unterschiedlich (auch wenn sie von derselben Marke und Marke stammt, hängt sie von der ursprünglichen Fabrik ab), und der interne Mechanismus mit dem Drehkopf ist so kompliziert, dass es heutzutage unmöglich ist Damit ein Mensch einen sich drehenden Kopf perfekt auf Magnetplatten platzieren kann, ohne sie zu töten.

Darüber hinaus ist bekannt, dass Festplatten sich im Laufe der Zeit entmagnetisieren, wenn sie nicht verwendet werden (einschließlich SSD). Daher können Sie Daten nicht einfach auf einer Festplatte speichern, sondern in einem Schrank aufbewahren und denken, dass sie Daten ohne elektrische Verbindung enthalten: Sie müssen Ihre Festplatte mindestens einmal pro Jahr oder paar Jahre an eine Stromquelle anschließen . HDDs eignen sich daher eindeutig nicht für die Kühllagerung.

Magnetbänder : Sie werden häufig als Anlaufstelle für Backups und als Erweiterung für die Archivierung bezeichnet. Das Problem bei Magnetbändern besteht darin, dass sie SEHR empfindlich sind: Die Magnetoxidpartikel können durch Sonne, Wasser, Luft, Kratzer, zeitliche Entmagnetisierung oder andere elektromagnetische Geräte leicht beschädigt werden oder einfach mit der Zeit abfallen oder durchgedruckt werden . Deshalb werden sie in der Regel nur von Fachleuten in Rechenzentren eingesetzt. Es ist auch nie bewiesen worden, dass sie Daten länger als ein Jahrzehnt aufbewahren können. Warum werden sie häufig für Backups empfohlen? Weil sie früher billig waren: Damals kostete die Verwendung von Magnetbändern 10- bis 100-mal weniger als Festplatten, und Festplatten waren in der Regel viel weniger stabil als heute. Aus Kostengründen werden Magnetbänder daher vor allem für Backups empfohlenNicht aus Gründen der Ausfallsicherheit, die uns bei der Archivierung von Daten am meisten interessiert.

CompactFlash- und Secure Digital-Karten (SD-Karten) sind als sehr robust und robust bekannt und können katastrophale Bedingungen überstehen .

Die Speicherkarten in den meisten Kameras sind praktisch unzerstörbar, findet Digital Camera Shopper Magazine. Fünf Speicherkartenformate überlebten das Kochen, Zertrampeln, Waschen und Eintauchen in Kaffee oder Cola.

Wie jedes andere magnetbasierte Medium ist es jedoch auf ein elektrisches Feld angewiesen, um die Daten zu speichern. Wenn die Karte keinen Saft mehr enthält, können die Daten vollständig verloren gehen. Dies ist keine perfekte Lösung für die Kältespeicherung (da Sie gelegentlich alle Daten auf der Karte neu schreiben müssen, um das elektrische Feld aufzufrischen), kann aber ein gutes Medium für Backups und für die kurz- oder mittelfristige Archivierung sein.

Optische Medien: Optische Medien sind eine Klasse von Speichermedien, die sich zum Lesen der Daten auf einen Laser stützen, z. B. CD, DVD oder Blu-ray (BD). Dies kann als eine Entwicklung des Papiers angesehen werden, aber wir schreiben die Daten in einer so kleinen Größe, dass wir ein präziseres und belastbareres Material als Papier benötigten, und optische Datenträger sind genau das. Die beiden größten Vorteile von optischen Medien sind, dass das Speichermedium von der Lesehardware entkoppelt ist (dh, wenn Ihr DVD-Leser ausfällt, können Sie immer ein anderes kaufen, um Ihre Festplatte zu lesen) und dass es auf Laser basiert, was es universell und macht Zukunftssicher (dh, solange Sie wissen, wie man einen Laser herstellt, können Sie ihn jederzeit optimieren, um die Bits einer optischen Platte durch Emulation zu lesen, so wie es CAMILEON für das Domesday BBC-Projekt getan hat ).

Wie jede Technologie bieten neue Iterationen nicht nur eine größere Dichte (Speicherplatz), sondern auch eine bessere Fehlerkorrektur und eine bessere Widerstandsfähigkeit gegen Umweltverfall (nicht immer, aber im Allgemeinen wahr). Die erste Debatte über DVD-Zuverlässigkeit fand zwischen DVD-R und DVD + R statt. Auch wenn DVD-R heutzutage immer noch üblich ist, gilt DVD + R als zuverlässiger und präziser . Es gibt jetzt DVDs in Archivqualität, die speziell für die Kühllagerung entwickelt wurden und behaupten, dass sie mindestens ~ 20 Jahre ohne Wartung aushalten:

Die Verbatim Gold Archival DVD-R [...] wurde vom angesehenen deutschen c't-Magazin (c't 16/2008, S. 116-123) in einem gründlichen Langzeit-Stresstest als zuverlässigste DVD-R eingestuft ) [...] eine Mindesthaltbarkeit von 18 Jahren und eine durchschnittliche Haltbarkeit von 32 bis 127 Jahren (bei 25 ° C, 50% Luftfeuchtigkeit). Keine andere Disc erreichte diese Werte, die zweitbeste DVD-R hatte eine Mindesthaltbarkeit von nur 5 Jahren.

Von LinuxTech.net .

Darüber hinaus spezialisierten einige Unternehmen in sehr langfristiger DVD Archivierung und ausgiebig vermarkten, wie die M-Disc von Millenniata oder DataTresorDisc und behaupten , dass sie Daten für mehr als 1000 Jahre zurückhalten können, und durch überprüften einige (unselbständige) Studien (aus 2009) unter weniger wissenschaftlichen anderen .

Das alles scheint sehr vielversprechend! Leider gibt es nicht genügend unabhängige wissenschaftliche Studien, um diese Behauptungen zu bestätigen, und die wenigen verfügbaren sind nicht so begeistert:

Feuchtigkeit (80% relative Luftfeuchtigkeit) und Temperatur (80 ° C) beschleunigten die Alterung auf mehreren DVDs über einen Zeitraum von 2000 Stunden (ca. 83 Tage) mit regelmäßiger Überprüfung der Lesbarkeit der Daten:

Übersetzt von der französischen Institution für digitale Datenarchivierung (Archives de France), Studie von 2012.

Die erste Grafik zeigt eine DVD mit einer langsamen Degradationsentwicklung. Die zweite DVD mit schnellen Degradationskurven. Und die dritte ist für spezielle "sehr langfristige" DVDs wie M-Disc und DataTresorDisc gedacht. Wie wir sehen können, entspricht ihre Leistung nicht ganz den Ansprüchen, da sie niedriger oder gleichwertig mit Standard-DVDs ohne Archivierungsgrad ist!

Anorganische optische Disks wie M-Disc und DataTresorDisc haben jedoch einen Vorteil: Sie sind gegenüber Lichtverschlechterung völlig unempfindlich:

Beschleunigtes Altern mit Licht (750 W / m²) während 240 Stunden:

Das sind großartige Ergebnisse, aber eine DVD in Archivqualität wie die Verbatim Gold Archival erzielt auch die gleiche Leistung, und außerdem ist Licht der am besten kontrollierbare Parameter für ein Objekt: Es ist ziemlich einfach, eine DVD in eine geschlossene Schachtel oder einen geschlossenen Schrank zu legen Entfernen jeglicher möglicher Lichteinwirkungen. Es wäre viel nützlicher, eine DVD zu bekommen, die sehr temperatur- und feuchtigkeitsbeständig ist als Licht.

Das gleiche Forschungsteam untersuchte auch den Blu-ray-Markt, um herauszufinden, ob es eine Marke mit einem guten Medium für die Langzeitkühllagerung gibt. Hier ist ihr Ergebnis:

Feuchtigkeit und Temperatur beschleunigten die Alterung bei mehreren Blu-ray-Marken unter denselben Parametern wie bei DVDs:

Lichtbeschleunigtes Altern bei mehreren Blu-ray-Marken mit denselben Parametern:

Übersetzt aus dieser Studie des Archives de France, 2012.

Zwei Zusammenfassungen aller Befunde (in französischer Sprache) hier und hier .

Insgesamt hat die beste Blu-ray-Disc (von Panasonic) eine ähnliche Leistung wie die beste DVD mit Archivierungsqualität im Feuchtigkeits- und Temperaturtest erbracht und ist praktisch lichtunempfindlich! Und diese Blu-ray-Disc ist nicht einmal für Archivzwecke geeignet. Darüber hinaus verwenden Blu-ray-Discs einen verbesserten Fehlerkorrekturcode als DVDs (die selbst eine gegenüber CDs verbesserte Version verwenden), wodurch das Risiko eines Datenverlusts weiter minimiert wird. Daher scheinen einige Blu-ray-Discs eine sehr gute Wahl für die Kühllagerung zu sein.

In der Tat beginnen einige Unternehmen mit der Arbeit an Blu-ray-Discs mit hoher Speicherdichte in Archivqualität wie Panasonic und Sony und kündigen an, 300 GB bis 1 TB Speicher mit einer durchschnittlichen Lebensdauer von 50 Jahren anbieten zu können. Auch große Unternehmen wenden sich optischen Medien für die Kühllagerung zu (da diese viel weniger Ressourcen verbrauchen, da sie ohne Stromversorgung kühl gelagert werden können), wie Facebook, das ein Robotersystem für die Verwendung von Blu-ray-Discs als "kalt" entwickelt hat Datenspeicher " greift ihr System selten zu.

Long Now-Archivierungsinitiative: Es gibt andere interessante Hinweise, wie das Rosetta Disc-Projekt des Long Now-Museums , bei dem mikroskopisch skalierte Seiten der Genesis in allen Sprachen der Erde geschrieben werden, in die die Genesis übersetzt wurde. Dies ist ein großartiges Projekt, das als erstes ein Medium anbietet, das die Speicherung von 50 MB für einen wirklich sehr langfristigen Kältespeicher (da es in Carbon geschrieben ist) und einen zukunftssicheren Zugriff ermöglicht, da Sie nur eine Lupe benötigen, um auf das zuzugreifen Daten (keine komischen Formatangaben oder technologischen Probleme, wie der violette Strahl der Blu-ray, brauchen nur eine Lupe!). Diese werden jedoch immer noch manuell erstellt und kosten schätzungsweise 20.000 US-Dollar, was für ein persönliches Archivierungsschema wohl etwas zu viel ist.

Internetbasierte Lösungen: Ein weiteres Medium zum Speichern Ihrer Daten ist das Internet. Cloud-Backup-Lösungen eignen sich jedoch nicht für das Hauptanliegen, da die Cloud-Hosting-Unternehmen möglicherweise nicht so lange leben, wie Sie Ihre Daten behalten möchten. Andere Gründe sind die Tatsache, dass das Backup schrecklich langsam ist (da es über das Internet übertragen wird) und die meisten Anbieter verlangen, dass die Dateien auch auf Ihrem System vorhanden sind, um sie online zu halten. Zum Beispiel löschen sowohl CrashPlan als auch Backblaze dauerhaft Dateien, die in den letzten 30 Tagen nicht mindestens einmal auf Ihrem Computer angezeigt wurden. Wenn Sie also Sicherungsdaten hochladen möchten, die Sie nur auf externen Festplatten speichern, müssen Sie diese anschließen USB-Festplatte mindestens einmal im Monat und Synchronisierung mit Ihrer Cloud, um den Countdown zurückzusetzen. Jedoch, Einige Cloud-Dienste wie SpiderOak bieten die Möglichkeit, Ihre Dateien unbegrenzt aufzubewahren (solange Sie natürlich bezahlen), ohne dass ein Countdown erforderlich ist. Seien Sie also sehr vorsichtig mit den Bedingungen und der Verwendung der Cloud-basierten Sicherungslösung, die Sie auswählen.

Eine Alternative zu Cloud-Backup-Anbietern besteht darin, Ihren eigenen privaten Server online zu mieten und wenn möglich einen mit automatischer Spiegelung / Sicherung Ihrer Daten bei einem Hardwareausfall auszuwählen (einige wenige garantieren Ihnen sogar gegen Datenverlust in ihren Verträgen , aber natürlich ist es teurer). Dies ist eine großartige Lösung. Erstens, weil Sie noch Eigentümer Ihrer Daten sind und zweitens, weil Sie die Hardwarefehler nicht verwalten müssen. Dies liegt in der Verantwortung Ihres Hosts. Und wenn Ihr Host eines Tages nicht mehr im Geschäft ist, können Sie Ihre Daten trotzdem zurückerhalten (wählen Sie einen seriösen Host, damit dieser nicht über Nacht herunterfährt, sondern Sie vorher benachrichtigt, vielleicht können Sie darum bitten, dass dies in den Vertrag aufgenommen wird). und woanders übernachten.

Wenn Sie sich nicht die Mühe machen möchten, einen eigenen privaten Online-Server einzurichten, und es sich leisten können, bietet Amazon den neuen Datenarchivierungsdienst Glacier an . Der Zweck besteht darin, Ihre Daten langfristig zu kühlen: Daher kostet das Speichern von Daten auf einem Gletscher viel, aber es kostet noch mehr, diese Daten zurückzugewinnen, da dieser Dienst dazu dient, Daten außerhalb der Reichweite zu speichern , um keine Daten zu speichern, auf die Sie häufig zugreifen möchten. Dies bedeutet, dass dieser Service Preise für das Schreiben, aber auch für das Lesen von Daten angibt. Dieser Dienst ist mit enormen Kosten verbunden, kann jedoch für einige Ihrer sensibelsten Daten von Vorteil sein (z. B. wenn Sie einige Textdateien oder Bilder haben, die SEHR sensibel sind, da diese Art von Daten normalerweise klein sind) kostet Sie nicht viel in einem Gletscher zu lagern).

Mängel des Kältespeichers : Es gibt jedoch einen großen Mangel in jedem Kältespeichermedium: Es gibt keine Integritätsprüfung, da Kältespeichermedien die Integrität der Daten NICHT automatisch überprüfen können (sie können lediglich Fehlerkorrekturschemata implementieren, um ein wenig zu "heilen" Der Schaden nach der Beschädigung ist aufgetreten, kann aber nicht verhindert oder automatisch behoben werden!), da im Gegensatz zu einem Computer keine Verarbeitungseinheit vorhanden ist, die das Dateisystem berechnet, protokolliert, überprüft und korrigiert. Während bei einem Computer und mehreren Speichereinheiten die Integrität Ihrer Archive automatisch überprüft und bei Bedarf automatisch auf eine andere Einheit gespiegelt werden kann, wenn ein Datenarchiv beschädigt wurde (vorausgesetzt, Sie haben mehrere Kopien desselben Archivs).

Langzeitarchivierung

Selbst mit den besten derzeit verfügbaren Technologien können digitale Daten nur für einige Jahrzehnte (etwa 20 Jahre) kalt gelagert werden. Auf lange Sicht können Sie sich also nicht nur auf ein Cold Storage verlassen: Sie müssen eine Methode für Ihren Datenarchivierungsprozess einrichten, um sicherzustellen, dass Ihre Daten in Zukunft (auch bei technologischen Änderungen) abgerufen werden können und dass Sie die Risiken minimieren Ihre Daten zu verlieren. Mit anderen Worten, Sie müssen der digitale Kurator Ihrer Daten werden, um Beschädigungen zu reparieren, wenn sie auftreten, und bei Bedarf neue Kopien erstellen.

Es gibt keine narrensicheren Regeln, aber hier sind ein paar etablierte Kuratierungsstrategien und insbesondere ein magisches Werkzeug, das Ihnen die Arbeit erleichtern wird:

• Redundanz- / Replikationsprinzip : Redundanz ist das einzige Werkzeug, das die Auswirkungen der Entropie rückgängig machen kann. Dieses Prinzip basiert auf der Informationstheorie. Um Daten zu speichern, müssen Sie diese Daten duplizieren. Fehlercodes sind genau eine automatische Anwendung des Redundanzprinzips. Allerdings müssen Sie auch sicherstellen , dass Ihre Daten redundant: mehrere Kopien der gleichen Daten auf verschiedenen Datenträgern, mehrere Kopien auf verschiedenen Datenträgern (so dass die Wahrscheinlichkeit gering ist, dass die anderen auf verschiedenen Datenträgern gleichzeitig ausfallen, wenn ein Datenträger aufgrund von Problemen ausfällt) usw. Insbesondere sollten Sie immer mindestens 3 Kopien Ihrer Daten haben, was im Engineering auch als 3-Modul-Redundanz bezeichnet wird, damit Sie bei einer Beschädigung Ihrer Kopien eine einfache Mehrheit abgeben können, um Ihre Dateien von Ihren 3 Kopien zu reparieren. Denken Sie immer an den Kompass des Seemanns:

Es ist sinnlos, zwei Kompasse mitzunehmen, denn wenn einer schief geht, kann man nie wissen, welcher richtig ist oder ob beide falsch sind. Nehmen Sie immer einen Kompass oder mehr als drei.

• Fehlerkorrekturcodes : Dies ist das magische Werkzeug, das Ihr Leben einfacher und Ihre Daten sicherer macht. Fehlerkorrekturcodes (Error Correction Codes, ECCs) sind ein mathematisches Konstrukt, das Daten generiert, mit denen Sie Ihre Daten reparieren können. Dies ist effizienter, da ECCs viel mehr Ihrer Daten reparieren können, indem sie viel weniger Speicherplatz beanspruchen als die einfache Replikation (dh das Erstellen mehrerer Kopien Ihrer Dateien). Sie können sogar verwendet werden, um zu überprüfen, ob Ihre Datei vorhanden ist Korruption, und finden Sie sogar , wo diese Korruption sind. In der Tat ist dies genau eine Anwendung des Redundanzprinzips, jedoch auf eine cleverere Weise als die Replikation. Diese Technik wird heutzutage häufig in der Fernkommunikation eingesetzt, beispielsweise bei 4G-, WiMax- und sogar bei der Weltraumkommunikation der NASA. Leider sind ECCs in der Telekommunikation zwar allgegenwärtig, aber nicht in der Dateireparatur, vielleicht weil sie etwas komplex sind. Es gibt jedoch einige Softwareprodukte, z. B. das bekannte (inzwischen veraltete) PAR2, DVD Disaster (mit dem Fehlerkorrekturcodes auf optischen Datenträgern hinzugefügt werden können) und pyFileFixity (das ich zum Teil entwickelt habe, um die Einschränkungen und Probleme von PAR2 zu überwinden). Es gibt auch Dateisysteme, die Reed-Solomon optional implementieren, z. B. ZFS für Linux oder ReFS für Windows, die technisch eine Verallgemeinerung von RAID5 darstellen.

• Überprüfen Sie regelmäßig die Integrität Ihrer Dateien: Hash Ihre Dateien, und überprüfen Sie sie von Zeit zu Zeit (dh einmal pro Jahr, aber es hängt vom Speichermedium und den Umgebungsbedingungen ab). Wenn Sie feststellen, dass Ihre Dateien beschädigt wurden, ist es an der Zeit, die von Ihnen erstellten ECCs zu verwenden und / oder eine neue, frische Kopie Ihrer Daten auf einem neuen Speichermedium zu erstellen. Das Überprüfen von Daten, das Reparieren von Beschädigungen und das Erstellen neuer Kopien ist ein sehr guter Kurationszyklus, der die Sicherheit Ihrer Daten gewährleistet. Insbesondere das Überprüfen ist sehr wichtig, da Ihre Dateikopien unbemerkt beschädigt werden können. Wenn Sie dann die manipulierten Kopien kopieren, erhalten Sie vollständig beschädigte Dateien. Dies ist umso wichtiger bei kalten Speichermedien wie optischen Datenträgern, die die Integrität der Daten NICHT automatisch überprüfen KÖNNEN (sie implementieren bereits ECCs, um ein wenig zu heilen). aber sie können nicht automatisch neue Kopien prüfen oder erstellen, das ist Ihre Aufgabe!). Um Änderungen an Dateien zu überwachen, können Sie das Skript rfigc.py von verwendenpyFileFixity oder andere UNIX-Tools wie md5deep . Sie können den Integritätsstatus einiger Speichermedien wie Festplatten auch mit Tools wie Hard Drive Sentinel oder den Open Source- Smartmontools überprüfen .

• Bewahren Sie Ihre Archivmedien an verschiedenen Orten auf (mit mindestens einer Kopie außerhalb Ihres Hauses!), Um im wirklichen Leben katastrophale Ereignisse wie Überschwemmungen oder Feuer zu vermeiden. Beispielsweise kann ein optischer Datenträger bei Ihrer Arbeit oder ein Cloud-basiertes Backup eine gute Idee sein, um diese Anforderung zu erfüllen (auch wenn Cloud-Anbieter jederzeit heruntergefahren werden können, solange Sie über andere Kopien verfügen, sind Sie in Sicherheit dienen die Cloud-Anbieter nur im Notfall als Offsite-Archiv).

• In speziellen Behältern mit kontrollierten Umgebungsparametern lagern: Bei optischen Medien lichtundurchlässig und wasserdicht aufbewahren, um Feuchtigkeit zu vermeiden. Bewahren Sie Festplatten und SD-Karten in antimagnetischen Schutzhüllen auf, um zu vermeiden, dass das Laufwerk durch Reststrom verfälscht wird. Sie können auch in luft- und wasserdichten Beuteln / Schachteln und in einem Gefrierschrank aufbewahren: Langsame Temperaturen verlangsamen die Entropie und Sie können die Lebensdauer eines solchen Speichermediums erheblich verlängern (stellen Sie nur sicher, dass Wasser gewonnen wird nicht hineingehen, sonst stirbt Ihr Medium schnell).

• Verwenden Sie hochwertige Hardware und prüfen Sie diese vorab (z. B.: Wenn Sie eine SD-Karte kaufen, testen Sie die gesamte Karte mit Software wie HDD Scan, um sicherzustellen, dass alles in Ordnung ist, bevor Sie Ihre Daten schreiben). Dies ist besonders wichtig für optische Laufwerke, da ihre Qualität die Qualität Ihrer gebrannten Discs drastisch verändern kann, wie die Studie von Archives de France zeigt (ein schlechter DVD-Brenner wird DVDs produzieren, die eine viel geringere Lebensdauer haben).

• Wählen Sie Ihre Dateiformate sorgfältig aus: Nicht alle Dateiformate sind unempfindlich gegen Korruption, einige sind sogar eindeutig schwach. Zum Beispiel können JPG-Bilder völlig beschädigt und unlesbar werden, indem nur ein oder zwei Bytes manipuliert werden. Gleiches gilt für 7zip-Archive. Das ist lächerlich, also seien Sie vorsichtig mit dem Dateiformat der Dateien, die Sie archivieren. Als Faustregel gilt, dass einfacher Klartext am besten ist. Wenn Sie jedoch komprimieren müssen, verwenden Sie eine nicht feste Zip-Datei und für Bilder JPEG2 (noch nicht Open Source ...). Weitere Informationen und Rezensionen zu professionellen digitalen Kuratoren finden Sie hier , hier und hier .

• Speichern Sie neben Ihren Datenarchiven alle Software und Spezifikationen, die zum Lesen der Daten erforderlich sind. Beachten Sie, dass sich die Spezifikationen schnell ändern und Ihre Daten in Zukunft möglicherweise nicht mehr lesbar sind, selbst wenn Sie auf die Datei zugreifen können. Daher sollten Sie Open Source-Formate und -Software bevorzugen und den Quellcode des Programms zusammen mit Ihren Daten speichern, damit Sie das Programm immer vom Quellcode aus anpassen können, um es von einem neuen Betriebssystem oder Computer aus zu starten.

• Viele andere Methoden und Ansätze zur Verfügung stehen hier , hier und in den verschiedenen Teilen des Internets.

Fazit

Ich empfehle, das zu verwenden, was Sie haben können, aber immer das Redundanzprinzip zu respektieren (4 Kopien anfertigen!) Und regelmäßig die Integrität zu überprüfen (daher müssen Sie vorher eine Datenbank mit MD5 / SHA1-Hashes erstellen) und neue erstellen Kopien im Falle von Korruption. In diesem Fall können Sie Ihre Daten technisch so lange aufbewahren, wie Sie möchten, unabhängig von Ihrem Speichermedium. Die Zeit zwischen den einzelnen Überprüfungen hängt von der Zuverlässigkeit Ihrer Speichermedien ab: Wenn es sich um eine Diskette handelt, überprüfen Sie alle 2 Monate, wenn es sich um eine Blu-ray-HTL handelt, überprüfen Sie alle 2/3 Jahre.

Im Optimum empfehle ich für die Kühllagerung die Verwendung von Blu-ray HTL- Discs oder DVD- Discs in Archivqualität , die in wasserdichten undurchsichtigen Behältern und an einem frischen Ort aufbewahrt werden. Darüber hinaus können Sie SD-Karten und Cloud-basierte Anbieter wie SpiderOak verwenden, um redundante Kopien Ihrer Daten oder sogar Festplatten zu speichern, wenn Sie auf diese zugreifen können.

Verwenden Sie viele Fehlerkorrekturcodes , um Ihren Tag zu retten. Sie können auch mehrere Kopien dieser ECC-Dateien erstellen (mehrere Kopien Ihrer Daten sind jedoch wichtiger als mehrere Kopien von ECCs, da sich ECCs-Dateien selbst reparieren können!).

Diese Strategien können alle mithilfe der Tools implementiert werden, die ich entwickle (Open Source): pyFileFixity . Dieses Tool wurde in der Tat durch diese Diskussion gestartet, nachdem festgestellt wurde, dass es kein kostenloses Tool zum vollständigen Verwalten der Dateifixierung gab. Weitere Informationen zu Dateifixierung und digitaler Kuratierung finden Sie in der Readme-Datei und im Wiki des Projekts.

Abschließend hoffe ich sehr, dass dieses Problem noch weiter erforscht wird. Dies ist ein wichtiges Thema für unsere heutige Gesellschaft, da immer mehr Daten digitalisiert werden, ohne jedoch zu garantieren, dass diese Informationsmenge länger als ein paar Jahre Bestand haben wird. Das ist ziemlich deprimierend, und ich denke wirklich, dass dieses Thema viel mehr in den Vordergrund gerückt werden sollte, damit Konstrukteure und Unternehmen daraus Speichergeräte machen können, die für zukünftige Generationen geeignet sind.

/ EDIT: Lesen Sie unten für eine praktische Kurationsroutine .

Es gibt keine einfache Lösung. Die Archivpflege ist ein Vorgang , kein einmaliger Vorgang . Alle drei derzeit verfügbaren Archivmedientypen haben ihre eigenen Vor- und Nachteile. Diese Argumente gelten jedoch für alle Medientypen:

1. Aus naheliegenden Gründen hat niemand 30 oder 100 Jahre lang DVDs oder Festplatten gelagert. Es gibt also keine Erfolgsbilanz und niemand weiß, wie die Medien altern werden. Künstliche Alterungstests beweisen nicht viel, und Sie verlassen sich auf die Tests des Herstellers (nicht unparteiisch).

2. Sie müssen die Medien in einer kontrollierten Umgebung aufbewahren, um optimale Ergebnisse zu erzielen (konstante Temperatur / Luftfeuchtigkeit, schwaches Licht usw.). Andernfalls wird die Lebensdauer der Medien erheblich verkürzt.

3. Sie müssen die Hardware und Software warten, die die Medien liest (z. B. sind SATA-Schnittstellen in 30 Jahren möglicherweise nicht mehr verfügbar).

Meiner Meinung nach ist die einzige praktikable Lösung für Privatanwender oder kleine Unternehmen folgende:

1. Verwalten Sie mehrere Kopien aller Daten auf verschiedenen Medientypen (sowohl Festplatten als auch DVDs).
2. Verwalten Sie mehrere Kopien aller Daten an mehreren Standorten (zu Hause und im Safe Ihrer Bank).
3. Kopieren Sie alle Daten von Zeit zu Zeit auf einen neuen Datenträger (z. B. alle 2 Jahre auf eine neue Festplatte und eine neue DVD). Mit zunehmender Datendichte werden Sie wahrscheinlich auch weniger Datenträger benötigen.
4. Führen Sie nach Möglichkeit Papierkopien aller wichtigen Daten (z. B. drucken Sie die jährlichen Hauptbücher für Ihr Unternehmen, drucken Sie die wertvollsten Familienfotos usw.).

Schnelles Follow-up zu meiner vorherigen Antwort oben . Dies wird präziser und erweitert mit zusätzlichen (aber nicht wichtigen) Informationen und Hinweisen, die ich aufgrund der 30-KB-Längenbeschränkungen nicht in der ersten Antwort hinzufügen kann.

Da es sich bei der Langzeitarchivierung um einen Kurationsprozess handelt, sollten Sie noch einige andere Dinge beachten, um Ihren Prozess effizienter und zeit- und ressourcenschonender zu gestalten:

• Deduplizierung : Da die einzige Möglichkeit zur langfristigen Archivierung eine bewusst konzipierte Redundanz ist, möchten Sie unnötige redundante Daten vermeiden (z. B. Kopien von Dateien, die Sie von Ihrem USB-Schlüssel auf Ihre Archivierungsfestplatte abgerufen haben, aber bereits eine Kopie ansteht) von Ihrem Hauptcomputer!). Unerwünschte redundante Daten, die in der Regel als Duplikate bezeichnet werden, sind sowohl hinsichtlich der Speicherkosten (sie beanspruchen mehr Speicherressourcen, aber es fällt Ihnen schwer, sie bei Bedarf zu finden) als auch für Ihren Prozess schlecht (was ist, wenn Sie unterschiedliche Versionen derselben Datei haben? Woher wissen Sie, welche Kopie die richtige ist?) Und für Ihre Zeit (es addiert sich zu den Übertragungszeiten, zu denen Sie das Backup für alle Ihre Archive synchronisieren). Aus diesem Grund bieten professionelle Archivierungsdienste in der Regel eine automatisierte Deduplizierung an: Dateien, die genau gleich sind, erhalten denselben Inode und benötigen keinen zusätzlichen Speicherplatz. Das macht zum Beispiel SpiderOak. Es gibt automatisierte Tools, die Sie verwenden können, und ZFS- (Linux) oder ReFS- (Windows) Dateisysteme können dies automatisch für Sie tun.

• Priorisierung / Kategorisierung : Wie Sie sehen, ist die Langzeitarchivierung ein zeitaufwändiger Prozess, der regelmäßig durchgeführt werden muss (Überprüfung der Integrität, Synchronisierung von Archiven über Datenträger hinweg, Erstellen neuer Archive auf neuen Datenträgern, um sterbende zu ersetzen, Reparieren von Dateien mithilfe von Fehlerkorrekturcodes , usw.). Um den Zeitaufwand so gering wie möglich zu halten, sollten Sie je nach Priorität Ihrer Daten anhand der Kategorien unterschiedliche Schutzschemata definieren. Die Idee ist, dass Sie Ihre Computerdaten, wenn Sie sie für die Langzeitarchivierung auf eine externe Festplatte verschieben, direkt in einem Ordner ablegen, der die Backup-Priorität definiert: "unwichtig", "persönlich", "wichtig", "kritisch" ". Anschließend können Sie für jeden Ordner unterschiedliche Sicherungsstrategien definieren: Reservieren Sie den vollständigen Schutz (z. B. Sicherung auf 3 Festplatten + Cloud + Fehlerkorrekturcodes + Blu-Ray-Speicher) nur für die wichtigsten Daten, die Sie für Ihr gesamtes Leben aufbewahren möchten (den kritischen Ordner). Dann wird ein mittlerer Schutz für "wichtige" Daten (z. B. Backup auf 3 Festplatten + Cloud) und dann "persönlich" einfach auf mindestens zwei externe Festplatten kopiert, und "unwichtig" erhält keine Kopie (oder möglicherweise auf einer Festplatte) fahren, wenn die Synchronisation nicht zu lang ist ...). Normalerweise werden Sie sehen, dass " ist alles, was Sie aus dem Internet herunterladen oder verschiedene Dateien und Medien, die Sie nicht wirklich interessieren (wie Software, Spiele und Filme). Das Fazit ist, dass:Je mehr Dateien Sie langfristig archivieren möchten, desto schwieriger (und zeitaufwändiger) wird es sein . Versuchen Sie daher, die Dateien, die diese spezielle Behandlung erhalten, auf ein Minimum zu beschränken.

• Metadaten sind ein kritischer Punkt: Selbst mit guten Kurationsstrategien ist normalerweise eines nicht geschützt: die Metadaten. Zu den Metadaten gehören die Informationen zu Ihren Dateien, zum Beispiel: der Verzeichnisbaum (yep, das sind nur ein paar Bytes, wenn Sie das verlieren, bekommen Sie Ihre Dateien in völliger Unordnung!), Der Dateiname und die Erweiterung, der Zeitstempel (this Dies mag für Sie wichtig sein), usw. Dies scheint keine große Sache zu sein, aber stellen Sie sich Folgendes vor: Was passiert, wenn alle Ihre Dateien (einschließlich der mit Software und anderen Dingen gelieferten) morgen in einem einzigen Ordner abgelegt werden, ohne deren Dateinamen und ohne Erweiterung. Werden Sie in der Lage sein, die benötigten Dateien durch manuelle Überprüfung aus den Milliarden von Dateien auf Ihrem Computer wiederherzustellen? Denken Sie nicht, dass dies ein ungewöhnliches Szenario ist, es kann so leicht passieren, als ob Sie mitten in einer Kopie einen Stromausfall oder einen Absturz bekommen: Die zu schreibende Partition kann vollständig zerstört werden (der berüchtigte RAW-Typ). Um dieses Problem zu beheben, sollten Sie Ihre Daten für die Datenwiederherstellung vorbereiten: Um sicherzustellen, dass die Metadaten erhalten bleiben, können Sie die Dateien mit ihren Metadaten mithilfe von zusammenfassennicht feste Archive wie ZIP DEFLATE oder DAR (aber nicht tar). Einige Dateisysteme bieten automatisierte Metadatenredundanz, z. B. DVDisaster (für optische Datenträger) und ZFS / ReFS (für Festplatten). Im Falle eines Absturzes der Metadaten können Sie versuchen, Ihre Partitionen mit TestDisk oder GetDataBack (teilweise Wiederherstellung des Verzeichnisbaums zulassen) oder ISOBuster (für optische Datenträger) wiederherzustellen, um den Verzeichnisbaum und andere Metadaten wiederherzustellen. Wenn dies alles fehlschlägt, können Sie mit PhotoRec auf die Dateischrottung zurückgreifen: Dadurch werden alle Dateien extrahiert, die es erkennt, aber in völliger Unordnung und ohne Dateinamen und Zeitstempel werden nur die Daten selbst wiederhergestellt. Wenn Sie wichtige Dateien gezippt haben, können Sie die Metadaten in der ZIP-Datei wiederherstellen (auch wenn die ZIP-Datei selbst keine Metadaten mehr enthält, verfügen zumindest die darin enthaltenen Dateien weiterhin über die richtigen Metadaten). Jedoch, Sie müssen alle Dateien einzeln manuell überprüfen, was sehr zeitaufwendig ist. Um dies zu verhindern, können Sie vorab mit pyFileFixity oder PAR2 eine Integritätsprüfsummen-Datei erstellen und diese Integritätsprüfsummen-Datei nach dem Dateischrott verwenden, um die Dateien je nach Inhalt automatisch zu erkennen und umzubenennen. Datenrettung, da durch Filescraping nur der Inhalt wiederhergestellt werden kann, nicht die Metadaten.

• Testen Sie Ihre Dateiformate und Kuratierungsstrategien selbst : Anstatt den Wörtern von Artikeln zu vertrauen, welcher Formattyp besser ist als der andere, können Sie es mit pyFileFixity filetamper.py selbst versuchen oder nur selbst , indem Sie in einigen Fällen einige hexadezimale Zeichen ersetzen Dateien: Sie werden sehen, dass die meisten Dateiformate mit nur 3 verschiedenen Bytes aufgeteilt werden können. Sie sollten Ihre Dateiformate also wirklich sorgfältig auswählen: Ziehen Sie einfache Textdateien für Notizen vor und verwenden Sie belastbare Dateiformate für Medien (sie werden noch bearbeitet, z. B. MPEG-4-Code zur variablen Fehlerkorrektur, ffmpeg implementiert ihn, ref wird hinzugefügt) ) oder generieren Sie Ihre eigenen Fehlerkorrekturcodes.

• Lesen Sie statistische Studien, glauben Sie keinen Behauptungen : Wie ich in der vorherigen Antwort bereits erwähnt habe, werden immer wieder extravagante Behauptungen zur Langlebigkeit von Speichermedien ohne wissenschaftliche Erkenntnisse aufgestellt, und Sie sollten diesbezüglich besonders vorsichtig sein. In der Tat gibt es nichts im Gesetz, was den Hersteller daran hindert, sich mit falschen und nicht überprüfbaren Angaben zur Lebensdauer zu rühmen. Ziehen Sie statistische Studien vor, z. B. den BackBlaze-Jahresbericht über die Ausfallraten von Festplatten .

• Nimm lange garantierte Speichermedien. Eine Garantie kann Ihre Daten nicht zurückbringen, gibt jedoch Auskunft darüber, wie der Hersteller die Ausfallrate seines Produkts bewertet (da dies sonst zu viel kosten würde, wenn die Rate während der Garantiezeit zu hoch wäre).

Ein Update des von mir verwendeten Schemas: Ich wende die oben beschriebene Priorisierungsstrategie an und habe meinem Schema den Cloud-Sicherungsdienst SpiderOak hinzugefügt, da dieser einen Plan mit unbegrenztem Speicherplatz enthält und vollständig verschlüsselt ist, sodass ich das alleinige Eigentum an meinen Daten behalte. Ich verwende KEIN einziges Sicherungsmedium für meine Daten, es ist nur eine zusätzliche Ebene.

Also hier ist mein aktuelles Schema:

• 3 Festplattenkopien werden regelmäßig überprüft und synchronisiert und an zwei verschiedenen Orten gespeichert. Eine befindet sich immer bei mir (ich verwende sie zum Speichern von Müll und für schnelle Backups).
• SpiderOak mit unbegrenztem Speicherplan
• Blu-ray-Discs für wirklich wirklich sensible Daten, aber nicht zu groß (ich beschränke die Daten, die ich auf diesen Discs speichern kann, auf 50 GB)
• pyFileFixity und DVDisaster für Ordner, die ich auf lange Sicht unbedingt behalten möchte.

Meine tägliche Routine sieht so aus: Ich habe immer eine tragbare 2.5-USB-Festplatte, mit der ich unwichtige Dinge verstauen (Dateien von meinem Computer auf die Festplatte verschieben) oder wichtige Dinge sichern kann (Dateien auf die Festplatte kopieren, aber eine Kopie auf meiner Festplatte aufbewahren) Computer). Für wirklich kritische Dinge aktiviere ich zusätzlich das Online-Backup zu SpiderOak (Ich habe einen Ordner mit kritischen Dingen auf meinem Computer, daher muss ich nur kritische Dateien dorthin verschieben und sie werden von SpiderOak automatisch synchronisiert). Für WIRKLICH kritische Dateien berechne ich auch eine Fehlerkorrekturdatei mit pyFileFixity.

Zusammenfassend gesagt speichere ich wichtige Daten auf: der tragbaren Festplatte, der SpiderOak Cloud und meinem Computer, sodass ich jederzeit drei Kopien mit nur zwei schnellen Aktionen zur Verfügung habe (auf die tragbare Festplatte kopieren und in den SpiderOak-Ordner verschieben). Wenn eine Kopie beschädigt wird, kann ich eine Mehrheitsabstimmung durchführen, um sie mit pyFileFixity zu korrigieren. Es ist ein sehr kostengünstiges Programm (sowohl preislich als auch zeitlich), das jedoch sehr effizient ist und alle Grundprinzipien der digitalen Kuratierung umsetzt (dreifache Redundanz, unterschiedliche Kopien an unterschiedlichen Standorten, unterschiedliche Medien, Integritätsprüfung und ecc von SpiderOak).

Dann synchronisiere ich alle 3 bis 6 Monate meine tragbare Festplatte mit meiner zweiten Festplatte zu Hause und dann alle 6 bis 12 Monate meine tragbare Festplatte mit meiner dritten Festplatte, die sich in einem anderen Haus befindet. Dies bietet den zusätzlichen Vorteil der Rotation (wenn ich nach 6 Monaten feststelle, dass bei meinem letzten Backup etwas schief gelaufen ist und ich kritische Dateien gelöscht habe, kann ich sie von einer der beiden Heim-Festplatten beziehen).

Schließlich habe ich mit DVDisaster einige sehr wichtige Dateien auf Blu-ray-Discs geschrieben (und zusätzliche ecc-Dateien mit pyFileFixity, aber ich bin mir nicht sicher, ob dies notwendig war). Ich bewahre sie in einer luftdichten Schachtel in einem Schrank auf. Ich überprüfe sie nur alle paar Jahre.

Sie sehen, mein Schema ist nicht wirklich eine große Belastung: Täglich dauert es ein paar Minuten, um Dateien auf die tragbare Festplatte und in meinen SpiderOak-Ordner zu kopieren, und dann synchronisiere ich alle 6 Monate die eine oder andere Heimfestplatte . Dies kann bis zu einem Tag dauern, abhängig davon, wie viele Daten synchronisiert werden müssen, aber es wird durch Software automatisiert. Sie müssen also nur die Software von einem Computer ausführen lassen und etwas anderes tun (ich verwende ein 100-Dollar-Netbook, das ich gerade gekauft habe) Wenn Sie dies tun, kann ich gleichzeitig auf meinem Hauptcomputer arbeiten, ohne sich Gedanken darüber machen zu müssen, ob mein Computer während einer Kopie abstürzt, was furchtbar sein kann und Ihre Festplatte zerstört, die gerade beschrieben wird . Die Fehlerkorrekturcodes und die Blu-ray-Schemata werden nur selten für wirklich kritische Daten verwendet, daher ist dies etwas zeitaufwändiger, aber selten.

Dieses Schema kann (wie immer) erweitert werden, beispielsweise durch die Verwendung von ZFS / ReFS auf den Festplatten : Dies würde eine automatisierte Überprüfung des Schutzes und der Integrität von Reed-Solomon- Fehlerkorrekturcodes (und Dittoblocks !) Ohne manuelle Interaktion meinerseits implementieren. im Gegensatz zu pyFileFixity). Obwohl ZFS (derzeit) nicht unter Windows-Betriebssystemen ausgeführt werden kann , gibt es ReFS, das eine ähnliche Fehlerkorrektursteuerung auf Dateisystemebene ermöglicht. Es könnte auch eine gute Idee sein, diese Dateisysteme auf externen Festplatten zu verwenden! Eine tragbare Festplatte, auf der ZFS / ReFS mit automatisierter RS-Fehlerkorrektur und Deduplizierung ausgeführt wird, sollte fantastisch sein! (und ZFS scheint ziemlich schnell zu sein, also sollte das Kopieren schnell gehen!).

Ein letzter Hinweis: Seien Sie vorsichtig mit Behauptungen über die ECC-Funktionen von Dateisystemen wie in dieser Liste , da diese für die meisten nur auf die Metadaten (wie APFS ) oder auf die RAID 1-Spiegelung ( btrfs ) beschränkt sind. Meines Wissens bieten nur ZFS und ReFS echte Fehlerkorrekturcodes (und keine einfache Spiegelung) von Metadaten und Daten, wobei ZFS derzeit am weitesten fortgeschritten ist (obwohl es ab 2018 noch etwas experimentell ist), insbesondere weil ReFS-Laufwerke nicht bootfähig sind .

Ich würde Mikrofilm machen. Ich weiß nicht, ob es noch hergestellt wird, aber ich wäre überrascht, wenn es nicht so wäre. Negative auf Silberbasis halten bei richtiger Lagerung Hunderte von Jahren. Das ist natürlich eine enorme Investition und beansprucht einen ganzen Raum für Fotografie und Betrachtung, und das gilt nicht für Speicherplatz. Das heißt also nur, wenn Sie wirklich 100 Jahre + ohne Wartung bedeuten.

Wenn nicht - und wahrscheinlich auch nicht, wenn Sie keine Zeitkapsel erstellen möchten -, verwenden Sie einfach Festplatten-Backups und kopieren Sie das gesamte Material alle 10 bis 15 Jahre auf neue Medien. Wirklich, es gibt keine bessere Versicherung gegen das Altern des Mediums, als das Ganze alle 10 Jahre oder so zu kopieren. Besser als Mikrofilm, besser als Tontafeln, besser als Steinobelisken im Wüstensand.

Bis zu 5 TB (oder mehr?) Können Sie bis zu 30 Jahre sicher auf einem Magnetband oder Bandlaufwerk speichern . Diese Zeit ist bewiesen. Mit Blue-Ray-Recordables können Sie Ihre Daten auch bis zu 30 Jahre lang sicher aufbewahren, die Kapazität liegt jedoch bei 100 GB.

Wenn Sie mehr Geld haben, speichern Sie es auf einem schwarz / weißen 35-mm-Film. Es wird davon ausgegangen, dass Daten (abhängig von der Dichte) für die nächsten 700 Jahre wiederhergestellt werden können. ( Deutscher Link zu Wikipedia )

Ich empfehle eine Nickelscheibe mit einem Durchmesser von 3 Zoll, auf deren Oberfläche Informationen mikroskopisch geätzt sind.

http://rosettaproject.org/blog/02008/aug/20/very-long-term-backup/

Für diese Art von Zeitspannen ist alles, was sich bereits auf Papier befindet (oder ohne Informationsverlust leicht gedruckt werden kann), am besten in dieser Form aufzubewahren. Denken Sie nur an das Papier und den Toner, die Sie für die Hardcopy verwenden.

Was andere betrifft, kenne ich kein aktuell genutztes digitales Medium, das für diese Zeitspannen Bestand haben würde. Wenn Sie Zeit (und damit Geld) für das Auffrischen Ihrer Sammlung aufwenden, ist ein Magnetband möglicherweise eine sinnvolle Option - aber selbst dann benötigen Sie eine gewisse Redundanz, da Sie möglicherweise nur feststellen müssen, dass ein einzelnes Band defekt ist (oder ist) kann sein, dass das Bandlaufwerk das Band beim Lesen gerade kaputt macht).

Und selbst wenn Sie die tatsächlichen Medien dazu bringen können, den Test der Zeit zu bestehen, werden Sie immer noch vor der Frage stehen, ob ein Programm die Medien in 30 Jahren lesen kann, geschweige denn in 100 Jahren.

Es ist richtig, dass gängige CD-Rs und DVD-Rs nicht zuverlässig genug sind, um wichtige Daten zu archivieren. Aber Sie können DVDs bekommen, die nicht so schnell verderben:

https://www.google.com/search?q=archival+dvd-r

Ich habe gelesen, dass 'M-Disc' eine DVD erstellt hat, die einen speziellen Brenner benötigt, aber auf herkömmlichen DVD-Lesegeräten lesbar ist. Sie behaupten eine geschätzte Lebensdauer von 1000 Jahren und geben an, dass diese nicht genau getestet werden kann. Lange Sonneneinstrahlung, Kratzer, mehrfacher Gebrauch usw. und die Disc ist zu 100% verwendbar. Ich wäre an jeglichem Feedback von jedem interessiert, der auf dieses System gestoßen ist.

Hier ist ein Auszug von Dell, der möglicherweise das M-Disc-Laufwerk in seinen neuen Laptops / PCs installiert

M-DISC Ready führt Laserätzdaten in ein anorganisches gesteinsartiges Material ein, um Datenverluste zu vermeiden. So wird sichergestellt, dass Ihre Dateien sicher sind und bis zu 1000 Jahre aufbewahrt werden können.

Im Gegensatz zu allen anderen beschreibbaren DVDs, bei denen organische Farbstoffe zum Speichern von Daten verwendet werden, werden M Discs im Laufe der Zeit nicht verblassen oder abgebaut.

Sie müssen verschiedene Technologien, Standorte und Medien mischen, um Backups mit langer Lebensdauer zu erzielen:

• Auf DVD brennen - Bluray mit niedriger Geschwindigkeit. Bewahren Sie sie bei schlechten Lichtverhältnissen, niedrigen Temperaturen und geringer Luftfeuchtigkeit ohne Kratzer auf.
• Bewahren Sie eine Kopie in einer RAID 1-, Raid5-, Raid6- oder Raid10-Einheit auf.
• Bewahren Sie eine weitere Kopie auf einer externen Festplatte auf
• Behalte eine Kopie in der Cloud (Carbonite, Crashplan)
• Eine Kopie der M-Disc-Technologie (Mdiscs und Mdisc-Brenner) ist bei Amazon.com nicht zu sehr guten Preisen erhältlich. Hersteller geben an, dass sie Daten für 1000 Jahre speichern können.

Wie schon erwähnt, gibt es eine neue Technologie namens M-Disc. Sie sind sehr zuverlässig: http://www.zdnet.com/torture-testing-the-1000-year-dvd-7000023203/ Wir haben damit begonnen, Images von Festplatten von Produktionsmaschinen zu sichern. Es gibt bereits Blu-Rays auf dem Markt. Der einzige Nachteil ist, dass sie langsamer sind als klassische B-RDs.

Wenn Sie eine Methode zur Lösung dieses Problems benötigen, sollten Sie das Feld Digital Presevation lesen.

http://en.wikipedia.org/wiki/Digital_preservation

Die digitale Aufbewahrung ist die Methode, um digitales Material am Leben zu erhalten, damit es weiterhin verwendet werden kann, wenn der technologische Fortschritt die ursprüngliche Hardware- und Softwarespezifikation überholt (Wikipedia).

Es gibt auch ein Referenzmodell: OAIS http://en.wikipedia.org/wiki/Open_Archival_Information_System

Es gibt einige Open Source- und kommerzielle Lösungen, die dazugehören. Bibliotheken und Archive verwenden diese Technologien, um digitalisierte Bücher für lange Zeiträume aufzubewahren.

Ihre Antwort ist einfach:

https://wiki.openstack.org/wiki/Cinder

Openstack ist ein nahezu "unsterbliches" Speichersystem, da Sie selbst mit zukünftigen Technologien, die uns derzeit unbekannt sind, Fehlerknoten aufrüsten oder durch neue ersetzen können. Ihre Daten werden in diesem System an mindestens 2, bis zu 5 Orten gleichzeitig gespeichert, sodass vollständige Speichernotizen fehlschlagen können und Ihre Daten immer noch vorhanden sind. Skaliert bis zu 50 PB (verifiziert) - 110 PB. Grundsätzlich fügt es eine SW-Ebene auf Ihrer Hardware hinzu und dies macht Ihren Speicher unendlich lebendig. Es überwindet unsere derzeitige Schallmauer von Schlachtzugssätzen, da die Wiederherstellungszeiten für sehr große Schlachtzugssätze begrenzt sind. Die Kosten für herkömmliche Raid-Speichersysteme betragen ungefähr 50%. Ich kenne ein System von FUJITSU, das dies als Referenzarchitektur verwendet: CD10000

Praktische Langzeitdatenspeicherung mit der aktuellen Technologie des Jahres 2014:

... und das ist was ich tue.

Holen Sie sich zwei der Multi-Terabyte-Laufwerke, zum Beispiel zwei Laufwerke mit jeweils 3 Terabyte. Nennen Sie eine TB-1 und die andere TB-2. Sichern Sie alles auf TB-1. Formatieren Sie TB-2 nach einem Jahr der Sicherung auf TB-1 neu und kopieren Sie TB-1 auf TB-2. Dann sichern Sie für das nächste Jahr alles auf TB-2. Formatieren Sie TB-1 nach diesem Jahr neu und kopieren Sie TB-2 nach TB-1, um den halbjährlichen Zyklus erneut zu starten.

Die Neuformatierung stellt die magnetische Stärke der Sektormarker wieder her. Durch das Kopieren wird die magnetische Stärke der Daten wiederhergestellt.

Das gleiche Prinzip kann auf Bandsicherungen und CD-Sicherungen oder auf die meisten anderen Sicherungen angewendet werden. Aber CDs sind so unpraktisch, weil sie in weniger als einem Jahr kaputt gehen können und Sie so viele davon benötigen, um alles zu sichern. Das Brennen von Kopien aller Backup-CDs alle 5 Monate ist einfach zu viel Arbeit. Bisher kann ich mein ganzes Leben auf einem Multi-Terabyte-Laufwerk speichern.