Könnten Sie klarstellen ... meinen Sie, dass sie die Dateien speichern, Sie möchten den Speicher erweitern, Sie möchten ihn sichern, Langzeitarchiv ...? Haben Sie Probleme mit Speicherplatz allein, Zugriffszeit, ...? Welche Bedürfnisse möchten Sie ansprechen?
Bart Silverstrim
Ich frage, weil die Website normalerweise keine individuellen Kaufempfehlungen für ein bestimmtes Produkt gibt, sondern mit allgemeinen Ideen zum Speichern oder Speichern von Dingen hilft.
Bart Silverstrim
Hallo. Langzeitlagerung. Ich brauche eine neue Lösung wie Dell, erweiterbar ad infinitum.
Galleta
1
Vergessen Sie nicht, dass Sie wahrscheinlich auch eine Art Backup-Speicher benötigen. Das heißt, es sei denn, es macht Ihnen nichts aus, alle Ihre Daten zu verlieren, wenn das Gebäude niederbrennt. Müssen wirklich alle Dateien gleichzeitig online sein, oder können Sie sie bei Bedarf vom Band abrufen?
Evan Anderson
Ich hätte gerne eine solche Herausforderung. ;-)
Poige
Antworten:
12
Hmmm
"Expanded ad-infinitum" macht mir Angst. Brauchen Sie wirklich jede Sekunde Film online und dann? Können Sie Tiered Storage in Betracht ziehen? Schnelle Speicherung für aktuelle / häufig verwendete Inhalte; langsamer Speicher mit höherer Kapazität für Dinge, die Sie zur Hand haben , aber nicht genau dort mit den Fingern schnippen; und zuletzt Band oder ähnliches, um alte Daten zu archivieren?
Wie sehen Ihre Budgets für die tatsächlichen Optionen aus? Ich werde Produkte aus der Dell-Reihe vorschlagen, da ich damit am besten vertraut bin, aber alle Top-Server-Anbieter haben ihre eigenen Produkte an denselben Punkten, aber ich bin mit diesen nicht so vertraut, und Sie benötigen Rat , keine lange Liste von Antriebsmodellen.
Ich mag die Equallogic- Reihe von SAN-Geräten von Dell , wenn Sie diese Daten über mehr als einen Server veröffentlichen möchten. Sie bieten eine Reihe von Optionen, die Ihnen eine schnelle Speicherebene und eine langsamere Ebene mit höherer Kapazität bieten. Natürlich können Sie auch eine kaufen Bandbibliothek beliebiger Größe von Dell auch für die Archivierungsebene.
Wenn Sie dieses Material nur über einen Server veröffentlichen möchten, sollten Sie die direkt angehängte Speicheroption in Betracht ziehen - Festplattenbänke, die an einen Server angeschlossen werden können. Ich weiß wieder aus der Dell-Reihe, dass Sie über die PowerVault- Reihe sprechen würden
Wie ich bereits sagte, schlage ich nicht vor, dass Sie Dell kaufen müssen, ich arbeite nicht für sie und ich werde nicht für sie shillen - es ist nur so, dass wir viele ihrer Sachen verwenden und ich weiß es ziemlich gut. Sie können sich HP, Sun / Oracle und IBM ansehen, und alle haben ähnliche Produktpaletten auf derselben Ebene, und es gibt viele Unternehmen, die sich ebenfalls auf Speicher spezialisiert haben. Aber die Datennutzung wachsen zu lassen, ohne sie so zu verwalten, ist ein Rezept für eine Katastrophe imho.
Ich weiß, dass Ihnen wahrscheinlich gesagt wird, dass sie alles brauchen, was sofort verfügbar ist, und dass Sie dies billig tun müssen, ich verstehe den Druck. Wenn Sie jedoch versuchen, solche Daten ohne eine Verwaltungsstrategie zu verwalten, müssen Sie nach dem Mond auf einem Stick fragen, und das funktioniert einfach nicht.
+1 - Sie können entweder ein massives "langsames" Array erstellen, indem Sie SATA-Festplatten mit der Equallogic PS-Serie (oder einem Äquivalent einer anderen Marke) verwenden, oder ein relativ großes, "dumm-schnelles" Array mit 15k- und SSD-Festplatten (ich sage "). langsam ", weil es im Kontext ist, aber 16 Platten werden tatsächlich ziemlich schnell sein, egal wie Sie sie mischen)
Mark Henderson
Mark - so haben wir es gemacht: "Fast Tier" für die VMWare-Farm und "Mid Tier" für Dateiserver. Scheint ganz gut zu funktionieren.
Rob Moir
+1 - Das Auferlegen einer Speicherhierarchie funktioniert gut, wenn auf den Inhalt so zugegriffen wird, dass er dieser Hierarchie zugeordnet werden kann. Wenn das Unternehmen mit der Rückrufgeschwindigkeit von wenig genutzten Inhalten umgehen kann, die "langsam" sind, sollte dies hervorragend funktionieren.
Evan Anderson
7
Ich arbeite für eine Rundfunkgesellschaft und wir werden monatlich VIELE Video- / Audiodaten generieren. Unsere Lösung war 2 Hitachi SAN, eines schneller (FC) und eines langsamer (SATA) mit viel Cache (256 GB Cache). Wir erwarten, dass es in 3 Jahren erschöpft sein wird. Ja, HD-Video ist eine Schlampe.
Wir haben ein Managementsystem in Arbeit, das sich mit allen Inhalten befasst und sie vom schnelleren Speicher (online) zum langsameren Speicher (Near Line) verschiebt und schließlich auf Band archiviert (es sind viele Metadaten zu schnell und zu schnell erforderlich) den Inhalt später leicht im Archiv finden). Wir haben eine (erweiterbare) 1000 LTO 4-Bandbibliothek zur Archivierung.
Das ist eine Sache, die Sie beachten sollten. Sie brauchen wirklich nur schnellen Zugriff / Speicherplatz zu einer bestimmten Zeit Ihrer Programmierung. Sagen wir, der letzte Monat. Das sind Rohmaterial von Nachrichtenteams, aufgenommenen Studio-Programmen, Live-Show-Aufnahmen sowie externen Produktionen (syndizierte Inhalte, Anzeigen usw.). Dies ist der Inhalt, der für die Wiedergabe und Bearbeitung verwendet wird und für den ein schneller Zugriff erforderlich ist (z. B. SAN, das mit MACs verbunden ist, auf denen die Bearbeitung durchgeführt wird).
Nachdem das Material ausgestrahlt wurde, können (und sollten) Sie es in eine Sammlung / ein Archiv verschieben (Sie kennen den richtigen Begriff auf Englisch nicht), wahrscheinlich auf Band. Wenn eine bestimmte Nachricht, Sendung oder Programmierung später benötigt wird, injizieren Sie sie zur Verwendung erneut in den schnelleren Speicher und entfernen Sie sie, nachdem alles erledigt ist.
Wenn Sie nach einer kommerziellen Lösung suchen, ist Isilon eine der billigeren Lösungen auf dem Markt und sollte Ihren Anforderungen problemlos entsprechen. Ihr Produkt ist eine Clustering-Lösung. Sie erstellen einen Speichercluster aus mehr als 3 Knoten. Jeder Knoten enthält eine Reihe von Festplatten, und die Fehlertoleranz kann so angepasst werden, dass Sie einen Knoten und / oder mehrere Festplatten verlieren und weiterhin betriebsbereit sind. Sie erweitern einfach, indem Sie den vorhandenen Knoten einen neuen Knoten oder ein externes Festplattenpaket hinzufügen. Sehr einfach und leicht zu bearbeiten.
Danach würde ich NetApp als Zweitplatzierten betrachten. Sie sind etwas teurer, aber ihre Produkte bieten mehr Funktionen und Leistung als Isilon.
Ich möchte darauf näher eingehen. Sie können nicht nur einen Knoten oder eine Festplatte verlieren (je nach Einrichtung sogar mehrere Knoten), sondern der Cluster erstellt die Daten selbst neu, sodass Sie im Gegensatz zum herkömmlichen RAID-Speicher, in dem Sie sich befinden, keinen neuen Knoten oder keine neue Festplatte einbinden müssen erfordern den Ersatz zum Wiederaufbau.
MaQleod
4
Ich gehe davon aus, dass dies Videodaten sind, was bedeutet, dass Sie durch Komprimierung und Deduplizierung nichts gewinnen. Ich gehe auch davon aus, dass Sie entschieden haben, dass die großen, kugelsicheren kommerziellen SAN / NAS-Anbieter zu teuer sind. Wenn alles online und im schnellen LAN sein muss (und nicht in einem Cloud-Dienst, den Sie sich vermutlich angesehen haben):
Ihre kostengünstigste Option ist dieses SuperMicro-Festplattengehäuse mit 45 Einschüben und 3-TB-Laufwerken. Das sind 135 TB roh in 4U und <1500 Watt. Sie können bei Bedarf ähnliche Produkte kaufen und diese bei Bedarf zu vorhandenen Dateiserver-Frontends hinzufügen. RAID 6 über gute LSI-Hardware-Controller anstelle von Software, wenn Sie es sich leisten können - lesen Sie das "RAID 5-Schreibloch" und haben Sie Angst vor Software-Paritäts-Raid.
Wenn sich die Speicherdichte verbessert, können Sie Daten von älteren Speicherboxen auf neuere migrieren, wodurch Ihr Server-Footprint langfristig ziemlich konstant bleibt. Verwenden Sie Band- oder Wechseldatenträger für die externe Speicherung, da dies die einzige kostengünstige Möglichkeit ist, so viele Daten zu sichern.
Sie kaufen ungefähr alle sechs Monate eine 135-TB-Einheit (mit Laufwerken), die den RAID- und Dateisystem-Overhead berücksichtigt. Hin und wieder benötigen Sie auch einen zusätzlichen Front-End-Dateiserver. Sie können sie alle rund um die Uhr mit Strom versorgen und kühlen, ausgefallene Laufwerke ersetzen und Ihre eigene Verwaltungssoftware rollen. Vielleicht können Sie OpenStack verwenden, um Ihren eigenen internen Cloud-Speicher auf diesen Boxen zu erstellen, oder Sie können gefährlich leben und alles auf einigen Open-Source-Cluster-Dateisystemen riskieren. Sie werden wahrscheinlich zwei oder mehr Vollzeitstellen benötigen, die all diese Dinge verwalten.
Die Wolke sieht immer besser aus, nicht wahr? Wenn die Daten lokal und online sein müssen, würde ich mich ernsthaft mit der Datenreduzierung befassen. Nach etwa einem Monat sollten Sie alle Ihre Streams (vermutlich MPEG-2-Broadcast) mit einer viel niedrigeren Bitrate in VBR H.264-Video umcodieren . X264 mit '--crf 23' ist nahezu transparent und die Hälfte oder weniger der Bitrate der meisten MPEG2-Broadcast-Streams. Wenn die Kosten angezeigt werden, wird das Management vermutlich einfach mit Daten leben, die älter als X Tage sind und auf Wechseldatenträgern oder -bändern offline sind.
Zu Ihrer Information, ich habe den Preis festgesetzt, und diese SuperMicro-Box wird 14000 US-Dollar kosten und mit 3-TB-Laufwerken ausgestattet sein. Angenommen, Sie verwenden RAID-6-Arrays mit 9 Laufwerken, entspricht dies 0,13 US-Dollar pro verwendbarem (dezimalem) GB. Das Einschalten und Kühlen der Box unter der Annahme eines normalen PUE kostet etwa 2600 USD / Jahr. Im Vergleich zur Cloud sieht es billig aus, aber Sie müssen sich darüber im Klaren sein, dass die Zeit für die Verwaltung des Personals etwa 0,50 US-Dollar pro Minute kostet. Das heißt, die Hardware ist die billigste Sache, und Sie sollten sich auf eine Lösung konzentrieren, die den Zeitaufwand für die Mitarbeiter reduziert.
Diese sind großartig, wenn Sie das Know-how haben, um Ihre eigenen zu erstellen, aber Builder aufgepasst: Der E / A-Durchsatz ist aufgrund der gesamten Kanalfreigabe Müll .
Mark Henderson
2
Check GlusterFS : Erweiterbarkeit um viele Petabyte, niedrige Kosten pro Gigabyte, Verwaltungskonsole, Appliance-ähnliche Speicherbausteine, konfigurierbare Replikationsstufe, so schnell Ihr Netzwerk dies zulässt, Open Source usw. Die gesamte Enchilada.
Antworten:
Hmmm
"Expanded ad-infinitum" macht mir Angst. Brauchen Sie wirklich jede Sekunde Film online und dann? Können Sie Tiered Storage in Betracht ziehen? Schnelle Speicherung für aktuelle / häufig verwendete Inhalte; langsamer Speicher mit höherer Kapazität für Dinge, die Sie zur Hand haben , aber nicht genau dort mit den Fingern schnippen; und zuletzt Band oder ähnliches, um alte Daten zu archivieren?
Wie sehen Ihre Budgets für die tatsächlichen Optionen aus? Ich werde Produkte aus der Dell-Reihe vorschlagen, da ich damit am besten vertraut bin, aber alle Top-Server-Anbieter haben ihre eigenen Produkte an denselben Punkten, aber ich bin mit diesen nicht so vertraut, und Sie benötigen Rat , keine lange Liste von Antriebsmodellen.
Ich mag die Equallogic- Reihe von SAN-Geräten von Dell , wenn Sie diese Daten über mehr als einen Server veröffentlichen möchten. Sie bieten eine Reihe von Optionen, die Ihnen eine schnelle Speicherebene und eine langsamere Ebene mit höherer Kapazität bieten. Natürlich können Sie auch eine kaufen Bandbibliothek beliebiger Größe von Dell auch für die Archivierungsebene.
Wenn Sie dieses Material nur über einen Server veröffentlichen möchten, sollten Sie die direkt angehängte Speicheroption in Betracht ziehen - Festplattenbänke, die an einen Server angeschlossen werden können. Ich weiß wieder aus der Dell-Reihe, dass Sie über die PowerVault- Reihe sprechen würden
Wie ich bereits sagte, schlage ich nicht vor, dass Sie Dell kaufen müssen, ich arbeite nicht für sie und ich werde nicht für sie shillen - es ist nur so, dass wir viele ihrer Sachen verwenden und ich weiß es ziemlich gut. Sie können sich HP, Sun / Oracle und IBM ansehen, und alle haben ähnliche Produktpaletten auf derselben Ebene, und es gibt viele Unternehmen, die sich ebenfalls auf Speicher spezialisiert haben. Aber die Datennutzung wachsen zu lassen, ohne sie so zu verwalten, ist ein Rezept für eine Katastrophe imho.
Ich weiß, dass Ihnen wahrscheinlich gesagt wird, dass sie alles brauchen, was sofort verfügbar ist, und dass Sie dies billig tun müssen, ich verstehe den Druck. Wenn Sie jedoch versuchen, solche Daten ohne eine Verwaltungsstrategie zu verwalten, müssen Sie nach dem Mond auf einem Stick fragen, und das funktioniert einfach nicht.
quelle
Ich arbeite für eine Rundfunkgesellschaft und wir werden monatlich VIELE Video- / Audiodaten generieren. Unsere Lösung war 2 Hitachi SAN, eines schneller (FC) und eines langsamer (SATA) mit viel Cache (256 GB Cache). Wir erwarten, dass es in 3 Jahren erschöpft sein wird. Ja, HD-Video ist eine Schlampe.
Wir haben ein Managementsystem in Arbeit, das sich mit allen Inhalten befasst und sie vom schnelleren Speicher (online) zum langsameren Speicher (Near Line) verschiebt und schließlich auf Band archiviert (es sind viele Metadaten zu schnell und zu schnell erforderlich) den Inhalt später leicht im Archiv finden). Wir haben eine (erweiterbare) 1000 LTO 4-Bandbibliothek zur Archivierung.
Das ist eine Sache, die Sie beachten sollten. Sie brauchen wirklich nur schnellen Zugriff / Speicherplatz zu einer bestimmten Zeit Ihrer Programmierung. Sagen wir, der letzte Monat. Das sind Rohmaterial von Nachrichtenteams, aufgenommenen Studio-Programmen, Live-Show-Aufnahmen sowie externen Produktionen (syndizierte Inhalte, Anzeigen usw.). Dies ist der Inhalt, der für die Wiedergabe und Bearbeitung verwendet wird und für den ein schneller Zugriff erforderlich ist (z. B. SAN, das mit MACs verbunden ist, auf denen die Bearbeitung durchgeführt wird).
Nachdem das Material ausgestrahlt wurde, können (und sollten) Sie es in eine Sammlung / ein Archiv verschieben (Sie kennen den richtigen Begriff auf Englisch nicht), wahrscheinlich auf Band. Wenn eine bestimmte Nachricht, Sendung oder Programmierung später benötigt wird, injizieren Sie sie zur Verwendung erneut in den schnelleren Speicher und entfernen Sie sie, nachdem alles erledigt ist.
Hoffe meine persönliche Erfahrung hilft.
quelle
Wenn Sie nach einer kommerziellen Lösung suchen, ist Isilon eine der billigeren Lösungen auf dem Markt und sollte Ihren Anforderungen problemlos entsprechen. Ihr Produkt ist eine Clustering-Lösung. Sie erstellen einen Speichercluster aus mehr als 3 Knoten. Jeder Knoten enthält eine Reihe von Festplatten, und die Fehlertoleranz kann so angepasst werden, dass Sie einen Knoten und / oder mehrere Festplatten verlieren und weiterhin betriebsbereit sind. Sie erweitern einfach, indem Sie den vorhandenen Knoten einen neuen Knoten oder ein externes Festplattenpaket hinzufügen. Sehr einfach und leicht zu bearbeiten.
Danach würde ich NetApp als Zweitplatzierten betrachten. Sie sind etwas teurer, aber ihre Produkte bieten mehr Funktionen und Leistung als Isilon.
quelle
Ich gehe davon aus, dass dies Videodaten sind, was bedeutet, dass Sie durch Komprimierung und Deduplizierung nichts gewinnen. Ich gehe auch davon aus, dass Sie entschieden haben, dass die großen, kugelsicheren kommerziellen SAN / NAS-Anbieter zu teuer sind. Wenn alles online und im schnellen LAN sein muss (und nicht in einem Cloud-Dienst, den Sie sich vermutlich angesehen haben):
Ihre kostengünstigste Option ist dieses SuperMicro-Festplattengehäuse mit 45 Einschüben und 3-TB-Laufwerken. Das sind 135 TB roh in 4U und <1500 Watt. Sie können bei Bedarf ähnliche Produkte kaufen und diese bei Bedarf zu vorhandenen Dateiserver-Frontends hinzufügen. RAID 6 über gute LSI-Hardware-Controller anstelle von Software, wenn Sie es sich leisten können - lesen Sie das "RAID 5-Schreibloch" und haben Sie Angst vor Software-Paritäts-Raid.
Wenn sich die Speicherdichte verbessert, können Sie Daten von älteren Speicherboxen auf neuere migrieren, wodurch Ihr Server-Footprint langfristig ziemlich konstant bleibt. Verwenden Sie Band- oder Wechseldatenträger für die externe Speicherung, da dies die einzige kostengünstige Möglichkeit ist, so viele Daten zu sichern.
Sie kaufen ungefähr alle sechs Monate eine 135-TB-Einheit (mit Laufwerken), die den RAID- und Dateisystem-Overhead berücksichtigt. Hin und wieder benötigen Sie auch einen zusätzlichen Front-End-Dateiserver. Sie können sie alle rund um die Uhr mit Strom versorgen und kühlen, ausgefallene Laufwerke ersetzen und Ihre eigene Verwaltungssoftware rollen. Vielleicht können Sie OpenStack verwenden, um Ihren eigenen internen Cloud-Speicher auf diesen Boxen zu erstellen, oder Sie können gefährlich leben und alles auf einigen Open-Source-Cluster-Dateisystemen riskieren. Sie werden wahrscheinlich zwei oder mehr Vollzeitstellen benötigen, die all diese Dinge verwalten.
Die Wolke sieht immer besser aus, nicht wahr? Wenn die Daten lokal und online sein müssen, würde ich mich ernsthaft mit der Datenreduzierung befassen. Nach etwa einem Monat sollten Sie alle Ihre Streams (vermutlich MPEG-2-Broadcast) mit einer viel niedrigeren Bitrate in VBR H.264-Video umcodieren . X264 mit '--crf 23' ist nahezu transparent und die Hälfte oder weniger der Bitrate der meisten MPEG2-Broadcast-Streams. Wenn die Kosten angezeigt werden, wird das Management vermutlich einfach mit Daten leben, die älter als X Tage sind und auf Wechseldatenträgern oder -bändern offline sind.
quelle
Wenn Sie die Zeit haben, selbst etwas einzurichten, haben die Mitarbeiter von Backblaze eine gute Beschreibung, wie sie ihre Speicher-Pods erstellen: http://blog.backblaze.com/2009/09/01/petabytes-on-a -budget-wie-man-billigen-Cloud-Speicher baut /
quelle
Check GlusterFS : Erweiterbarkeit um viele Petabyte, niedrige Kosten pro Gigabyte, Verwaltungskonsole, Appliance-ähnliche Speicherbausteine, konfigurierbare Replikationsstufe, so schnell Ihr Netzwerk dies zulässt, Open Source usw. Die gesamte Enchilada.
quelle