Warum können relationale Datenbanken nicht die Skalen von Big Data erfüllen?

Es wird häufig wiederholt, dass das Big-Data-Problem darin besteht, dass relationale Datenbanken nicht skaliert werden können, um die enormen Datenmengen zu verarbeiten, die derzeit erstellt werden.

Aber an welche Skalierbarkeitsbeschränkungen sind Big Data-Lösungen wie Hadoop nicht gebunden? Warum können Oracle RAC- oder MySQL-Sharding oder MPP-RDBMS wie Teradata (usw.) diese Leistungen nicht erbringen?

Ich bin an den technischen Einschränkungen interessiert - mir ist bewusst, dass die finanziellen Kosten für das Clustering von RDBMS unerschwinglich sein können.

MS hatte gerade ein Technikgespräch in den Niederlanden, in dem sie einige dieser Dinge besprachen. Es fängt langsam an, geht aber nach etwa 20 Minuten in das Fleisch von Hadoop über.

Der Kern davon ist, dass "es abhängt". Wenn Sie eine vernünftig angeordnete, (zumindest etwas) einfach zu partitionierende Datenmenge haben, die (zumindest etwas) homogen ist, sollte es mit einem RDBMS relativ einfach sein, sie auf diese hohen Datenmengen zu skalieren, je nachdem, was Sie tun .

Hadoop und MR scheinen eher auf Situationen ausgerichtet zu sein, in denen Sie zu umfangreichen verteilten Scans von Daten gezwungen sind, insbesondere wenn diese Daten nicht unbedingt so homogen oder strukturiert sind wie in der RDBMS-Welt.

An welche Einschränkungen sind Big Data-Lösungen nicht gebunden? Für mich ist die größte Einschränkung, an die sie nicht gebunden sind, ein starres Schema im Voraus zu erstellen. Mit Big Data-Lösungen verschieben Sie jetzt große Datenmengen in die "Box" und fügen Ihren Abfragen später Logik hinzu, um die mangelnde Homogenität der Daten zu beheben. Aus der Sicht eines Entwicklers besteht der Kompromiss in der einfachen Implementierung und Flexibilität des Frontends des Projekts, im Gegensatz zur Komplexität bei der Abfrage und in einer weniger unmittelbaren Datenkonsistenz.

Datenbank - Pionier und Forscher Michael Stonebraker als Co-Autor ein Papier , das die Grenzen der traditionellen Datenbank - Architekturen diskutiert. Im Allgemeinen skalieren sie mit teurerer Hardware, haben jedoch Schwierigkeiten, parallel mit mehr Standardhardware zu skalieren, und sind durch die für eine ältere Ära entwickelte alte Softwarearchitektur eingeschränkt. Er behauptet, dass die BigData-Ära mehrere neue Datenbankarchitekturen erfordert, die die moderne Infrastruktur nutzen und für eine bestimmte Arbeitslast optimieren. Beispiele hierfür sind das C-Store-Projekt, das zur kommerziellen Datenbank Vertica Systems führte, und das H-Store-Projekt, das zur VoltDB führte, einer speicherinternen OLTP-SQL-Datenbank, die für Hochgeschwindigkeits-BigData-Workloads ausgelegt ist. (Vollständige Offenlegung, ich arbeite für VoltDB).

Dieses Webinar könnte Sie zu diesem Thema interessieren. Es reagiert auf einige der Mythen, die mit dem Erfolg von NoSQL-Datenbanken aufgetaucht sind. Grundsätzlich ist er der Ansicht, dass SQL nicht das Problem war. Es sollte nicht notwendig sein, herkömmliche Datenbankfunktionen wie die Konsistenz aufzugeben, um die Leistung zu verbessern.

Es ist nicht ganz richtig, dass RDBMS nicht skalieren kann. Die teilweise Wahrheit in der Aussage hängt jedoch von der Architektur ab. In der Liste, die Sie angegeben haben, unterscheidet sich Oracle RAC von den anderen (Sharded MySQL und Teradata). Der Hauptunterschied ist Shared Disk vs. Shared Nothing-Architekturen.

Shared Disk-Architekturen wie Oracle RAC leiden unter der Skalierung, da zu einem bestimmten Zeitpunkt alle ausgeführten Maschinen auf einem Teil der Daten synchronisiert werden sollten. Zum Beispiel ist Global Lock Manager ein Killer. Sie können die Feinabstimmung bis zu einem gewissen Grad fortsetzen, aber Sie werden letztendlich gegen eine Wand stoßen. Wenn Sie nicht einfach Maschinen hinzufügen können, sollten Sie weniger, aber sehr leistungsfähige Maschinen haben, die Ihre Tasche verbrennen können. Im Fall von Shared-Nothing-Architekturen (oder Sharded-Daten) übernimmt jeder Computer das Eigentum an einigen Daten. Es muss nicht mit anderen Maschinen synchronisiert werden, wenn Daten aktualisiert werden sollen.

Dann kommt die Generation der NoSQL-Datenbanken. Ich würde ihnen eine Untergruppe traditioneller RDBMS-Datenbanken zuordnen. Nicht alle Anwendungen auf dieser Welt benötigen alle von RDBMS angebotenen Funktionen. Wenn ich die Datenbank als Cache verwenden möchte, ist mir die Haltbarkeit egal. In manchen Fällen würde mich auch die Konsistenz nicht interessieren. Wenn alle meine Daten auf einem Schlüssel basieren, benötige ich keine Unterstützung für Bereichsabfragen. Ich benötige möglicherweise keine Sekundärindizes. Ich brauche nicht die gesamte Ebene für die Abfrageverarbeitung / Abfrageoptimierung, über die alle traditionellen Datenbanken verfügen.