Ich interessiere mich für die Vor- und Nachteile verschiedener räumlicher ETL-Tools (Extrahieren, Transformieren, Laden). Wenn Sie die hier aufgelisteten Artikel verwendet haben (oder Ihre eigenen hinzufügen), suche ich Ihre Meinungen und Erfahrungen. Insbesondere möchte ich Usability-Vergleiche von:
- Sichere Software FME (proprietär)
- ArcGIS Data Interoperability Extension (proprietär, Teilmenge der FME-Funktionen)
- Talend Spatial-Erweiterung (zuvor Spatial Data Integrator) (Open Source)
- GeoKettle (Open Source)
- ogr2ogr (Ich weiß nicht, dass es sich wirklich um ETL handelt, sondern eher um ein Toolset für die Dateiübersetzung.)
- Jede weitere aufgelistete Partie
Es besteht keine Notwendigkeit, eine Überprüfung aller genannten Software zu geben. Wenn Sie mit nur einer Erfahrung haben, ist dies für die Entscheidung, in welche Richtung Sie gehen sollen, von großem Vorteil.
Beispiel: Ich möchte eine Schemakonvertierungsfunktion erstellen, mit der ich die Eingabeebene auswählen, eine Übersetzung erstellen und in ein neues, vordefiniertes Schema ausgeben kann. Optimalerweise möchte ich nach dem Erstellen des Übersetzungsskripts ein interaktives Formular haben, in dem ich Felder in meiner Eingabeebene der Ausgabeebene "zuordnen" kann (dh - Die Ausgabeebene hat ein Feld namens "Adresse", wie es heißt in der Eingabeebene?)
Einige wurden in den Fragen und Antworten unter Welche Tools stehen zum Hochladen von GIS-Daten in eine Datenbank zur Verfügung?
Und hier sind ein paar verwandte Artikel, die ich gefunden habe.
quelle
Die meisten einfachen Operationen können von diesen Open-Source-Dienstprogrammen ausgeführt werden
Holen Sie sich FWtools http://fwtools.maptools.org/ und probieren Sie es aus.
quelle
Ich habe vor ungefähr einem Jahr verschiedene Tools verglichen , die auch die meisten der in diesem Thread erwähnten Optionen enthalten.
Als direktere Antwort verwende ich FME aufgrund seiner Vielseitigkeit häufig. Wenn ich jedoch mit komplexen Datenstrukturen wie CityGML, INSPIRE GML oder größeren Datenbankmodellen arbeite, verwende ich HALE , eine Open-Source-App, die für ETL und insbesondere für die Harmonisierung entwickelt wurde.
Gegenwärtig (ab Version 2.9.0) ist der Vergleich mit FME (2014 SP1) wie folgt:
Beachten Sie, dass ich schon einige Jahre im HALE-Team bin.
quelle
Wenn Sie sich den doppelten Link von blah238 ansehen, finden Sie weitere Informationen. Ich würde sagen, dass Talend Open Studio und Pentaho GeoKettle die bekanntesten Open Source-Lösungen sind, für die man sich entscheiden kann. Von diesen beiden Talend-Zielen sind mehr als nur ETL und GeoKettle meiner Meinung nach etwas einfacher zu bedienen.
Meine Gemeinde ist dabei, GeoKettle die Möglichkeit zu geben, einen GML-Dialekt zu schreiben, der vom schwedischen Verband der Gemeinden und Regionen (SALAR) zusammengestellt wurde, und wir benötigen dieses Format, um Geodaten für verschiedene kommerzielle Interessen bereitzustellen.
Ich glaube, GeoKettle unterstützt OGR / GDAL ab Version 2.0.
quelle
FME ist wahrscheinlich das beste Produkt für diesen Bereich. Danach ist es GDAL / OGR. Ein weiteres Open-Source-Produkt in diesem Bereich ist Geokettle - http://www.spatialytics.org/projects/geokettle/, obwohl ich es noch nie im Zorn verwendet habe (ich habe das Glück, die beiden anderen genannten Produkte zu haben).
Wenn keine dieser allgemeinen Optionen funktioniert, möchten Sie wahrscheinlich ein bestimmtes Konvertierungstool verwenden.
quelle
Geokettle wurde religiös für ein kleines Projekt verwendet. Hohe Lernkurve, es sei denn, Sie waren an eine Eclipse-Benutzeroberfläche gewöhnt ... Wirklich leistungsstark, da sie gegen GDAL1.10 kompiliert ist und alle Geotypen unterstützt ... Was mir gefiel, war die Unterstützung sowohl gespeicherter Daten als auch Daten über Dienste ... Ich habe es verwendet, um ArcGIS-Server-Datasets auf einer lokalen Postgis-Instanz über ESRI json mit GeoJSON neu zu erstellen und zu synchronisieren. ... Workflow kann Bedingungen und Validierung einbauen, um # of objectid abzufragen und basierend darauf eine vordefinierte CSV zu kompilieren Um eine Post-Anfrage für 500 Features gleichzeitig zu iterieren, abhängig von der ersten Anfrage, war es möglich, alle Anfragen in einer Geojson-Datei zu konsolidieren. Führen Sie ogr2ogr aus, um Postgis zu laden. Sogar geskriptete Postgis, um Vakuum auszuführen und damit zu indizieren ein Ventilator
Sie können es ausführen und einen Workflow auf der Desktop-Benutzeroberfläche zuordnen und Pentahos-Server-Tools verwenden, um es auf Hadoop einzurichten und als Skript- oder Cron-Job ausführen zu lassen.
quelle
QGIS (mindestens seit der aktuellen Version 2.6) verfügt nun auch über einen integrierten Model Builder. Über diese Toolbox können Sie auf Hunderte von Algorithmen zugreifen (GDAL, GRASS, SAGA, vectortools usw.). Sie können auch ein eigenes Skript hinzufügen.
Ich muss zugeben, dass ich es nicht ausgiebig genutzt habe, aber wenn ich einen Modellbauer suchte, würde ich es für untersuchungswürdig halten.
quelle
[WARNUNG: Eine kostenlose Werbung für ein Produkt, an dem ich beteiligt bin]
Wir haben an einem Tool für ETL gearbeitet. Es ähnelt der FME-Variante, wurde jedoch für einfachere Aufgaben und weniger Fachwissen entwickelt. Einige Details finden Sie unter https://www.geoactive.it. Hier finden Sie Informationen zu Data Dragon. Diese Anwendung verwendet GDAL / OGR im Back-End und wir übermitteln alle vorgenommenen Ergänzungen an GDAL / OGR.
Für den kommerziellen Gebrauch muss es gekauft werden, aber wir verfügen über kostenlose akademische Lizenzen. Wenn Sie es also für Studienzwecke verwenden möchten, sende mir eine E-Mail und ich werde Ihnen weitere Einzelheiten mitteilen.
Dies ist in der frühen Release-Phase, daher gibt es immer noch einige kleinere Fehler, seien Sie also bitte vorsichtig mit uns.
quelle