Als «etl» getaggte Fragen

Ich benutze PostgreSQL 9.1 unter Ubuntu. Werden noch geplante VACUUM ANALYZEMaßnahmen empfohlen oder ist das automatische Absaugen ausreichend, um alle Anforderungen zu erfüllen? Wenn die Antwort "es kommt darauf an" ist, dann: Ich habe eine große Datenbank (30 GiB komprimierte Speichergröße, 200...

Im Rahmen unseres ETL-Prozesses vergleichen wir Zeilen aus dem Staging mit der Berichtsdatenbank, um festzustellen, ob sich eine der Spalten seit dem letzten Laden der Daten tatsächlich geändert hat. Der Vergleich basiert auf dem eindeutigen Schlüssel der Tabelle und einer Art Hash aller anderen...

Frage: Ich habe ein Skript mit rund 45.000 Einfügungen aus ausgewählten Anweisungen. Wenn ich versuche, es auszuführen, erhalte ich eine Fehlermeldung, die besagt, dass mir der Speicher ausgeht. Wie kann ich dieses Skript ausführen? Kontext: Einige neue Datenfelder wurden hinzugefügt, damit eine...

Ich habe Pentaho Data Integration bereits vor dem Kauf von Pentaho verwendet und nenne es so. Ich habe die letzte kostenlose Version. Ich habe kürzlich auf ihrer Website nachgesehen, ob sie eine andere Version veröffentlicht haben, nur um herauszufinden, dass mein bevorzugtes Open-Source-etl nicht...

Ich habe festgestellt, dass mein Unternehmen einen ELT-Prozess (Extract-Load-Transform) anstelle eines ETL-Prozesses (Extract-Transform-Load) verwendet. Was sind die Unterschiede zwischen den beiden Ansätzen und in welchen Situationen wäre einer "besser" als der andere? Es wäre großartig, wenn Sie...

Basierend auf meiner Analyse muss ein vollständiges Dimensionsmodell für unser Data Warehouse aus über 200 Quelltabellen extrahiert werden. Einige dieser Tabellen werden als Teil eines inkrementellen Ladevorgangs extrahiert, andere als Volllast. Zu beachten ist, dass wir ungefähr 225...

Wir machen einen ETL-Prozess. Letztendlich gibt es eine Reihe von Tabellen, die identisch sein sollten. Wie lässt sich am schnellsten überprüfen, ob diese Tabellen (auf zwei verschiedenen Servern) tatsächlich identisch sind? Ich spreche sowohl Schema als auch Daten. Kann ich einen Hash auf dem...

Ich bin ziemlich neu in PostgreSQL. Ich habe noch nie eine große Bereitstellung damit durchgeführt. Aber ich habe gute Erfahrungen mit Unternehmenslösungen und möchte versuchen, etwas von dem anzuwenden, was ich mit PostgreSQL gelernt habe. Ich habe eine Site, die so dimensioniert ist, dass sie...

Ich bin gerade dabei, ETLs für unser Data Warehouse zu erstellen. Wir verwenden SSIS 2008, stoßen jedoch auf Probleme, von denen das größte die Schwierigkeit ist, Komponenten wiederzuverwenden. Wir haben separate Pakete für jede Tabelle und jedes Paket verwendet eine Reihe von Variablen aus einem...

Ich habe die Redshift-Datenbank von Amazon als möglichen zukünftigen Ersatz für unser Data Warehouse untersucht. Meine Erfahrung war immer in der Verwendung von Dimensionsmodellierung und Ralph Kimballs Methoden, daher war es etwas seltsam zu sehen, dass Redshift keine Funktionen wie den seriellen...

Ich habe einen Datenfluss, um Daten von einer alten Datenbank in eine neue zu migrieren. Das alte Design hatte alle Daten und historischen Informationen (Änderungen) in einer einzigen Tabelle mit einer "Version" (inkrementierende Ganzzahl) für die Zeile gespeichert. Das neue Design verfügt über...

Aus Leistungsgründen haben Sie in einigen Szenarien, z. B. bei Amazon EC2, Zugriff auf ein schnelleres und billigeres Speichergerät, das beim Neustart alle Daten verliert und daher als "kurzlebig" bezeichnet wird. Bei dieser Frage geht es darum, diese Art von Speicher in Installationen der...

Ich versuche, einen regelmäßigen Import einer Excel-Tabelle einzurichten, die wir von einem Anbieter erhalten. Ich verwende SQL 2008 R2 SSIS, um es in eine Tabelle zu importieren. Der Problemverbindungsmanager ist eine OLE DB-Verbindung zur Tabelle. Die Tabelle ist Excel 2005. Der...

Hat hier jemand Glück gehabt, UDFs in der Azure Data Warehouse- Datenbank zu erstellen und zu verwenden ? Ich bin gerade dabei, ein On-Prem-Warehouse von SQL Server 2014 auf Azure Datawarehouse zu migrieren, und bin auf ein Problem mit UDFs gestoßen. CREATE FUNCTION dbo.fn_GetImpliedRate (@Multiple...