Zentralisieren von Shapefile-Daten in einer Datenbank

Ich habe Hunderte von Shapefiles aus verschiedenen GIS-Projekten, die ich zu einer einzigen Datenbankplattform konsolidieren möchte, und versuche dies derzeit mit Postgres / PostGIS.

Kaum ein der Daten standardisiert - was bedeutet , dass es sich um eine Menge von den gleichen Daten ist Arten , aber die speziellen Attributnamen / Typ nicht übereinstimmen.

Wo soll ich damit anfangen? Sollte ich ein Standardmodell entwickeln, um jedes Shapefile zuerst zu migrieren (z. B. Hydro_line-, transport_line-, Hydro_poly-Standards usw.)?

Eine Alternative besteht darin, jedes Shapefile einzeln in Postgres zu importieren, sodass jedes Shapefile zu einer Tabelle in der Datenbank wird. In Bezug auf Leistung und Organisation bin ich mir jedoch nicht sicher. Es fühlt sich an, als würde man das Unvermeidliche verzögern ...

Irgendwelche Ratschläge zur Bewältigung dieser entmutigenden Aufgabe?

Werfen Sie einen Blick auf die Spatial ETL-Software (Extract - Transform - Load), die sich solchen Aufgaben widmet. Am bekanntesten ist FME von Safe, es sind jedoch einige Open-Source-Alternativen (teilweise) verfügbar, wie z . B. SDI (Spatial Data Integrator) und GeoKettle .

Hallo

Ich würde es zuerst nach PostGIS importieren. Es gibt Werkzeuge, um mehrere Formen in einzelne Tabellen zu laden. QGIS-Spit-Erweiterung ist eine. Das neue grafische shp2pgsql in PostGIS-Trunk oder experimentellen Binärdateien ist eine weitere Alternative. Oder Sie könnten einfach ein Batch-Skript mit shp2pgsql schreiben.

Ich würde dort anfangen und alles in ein Schema namens original oder so importieren. Daraus würde ich dann die Daten strukturieren. Zusammenführen in Tabellen, wo dies angebracht ist und so weiter.

Das Schöne daran ist, dass Sie, wenn Sie alle Abfragen speichern, die Sie für diese Transformationen verwenden, eine hervorragende Dokumentation über den Verlauf Ihrer Daten haben. Es ist auch sehr einfach, es bei Bedarf zu wiederholen. Sobald Sie mit Ihrer Organisationsarbeit fertig sind, legen Sie ein Backup Ihres Schemas "original" ab und verstauen es irgendwo.

Ich halte dies für eine strukturierte und saubere Vorgehensweise. Und wie bereits erwähnt, erhalten Sie eine sehr solide Dokumentation darüber, welches Feld den Namen in welchen neuen Namen geändert hat und welche Originaltabellen in diese große neue Tabelle eingebunden wurden und so weiter.

In FME und Software wie dieser können Sie natürlich auch speichern, was Sie getan haben, aber im Vergleich zu internen Datenbankabfragen ist es nicht die universelle Art, das zu dokumentieren, was als SQL-Abfragen ausgeführt wird. Sie sind verwendbar und lesbar, solange es Textdateien und relationale Datenbanken gibt.

Am Ende habe ich Textdateien, die ungefähr so ​​aussehen:

-- A query to merge all roads in Norway

Create table road_tables.all_roads as
SELECT id as roadid, status, the_geom from original.big_roads
union all
SELECT rid as roadid, condition as status, the_geom from original.small_roads;

und so weiter. Diese als Textdatei gespeicherte Datei hat nach einigen Jahren einen hohen Wert.

Grüße Nicklas

Mein Vorschlag wäre, 2-5 Ihrer am stärksten genutzten Datenebenen (Shapefiles) auszuwählen und auf ein Rdbms zu migrieren.
Untersuchen und Implementieren von Workflows für diese Daten. Gewöhnung an die Einschränkungen und Anforderungen von rdbms im Vergleich zu dateibasierten Daten.

Zu den Einschränkungen gehören: erforderlicher Export, Landezone, Koordinatensysteme, Dateityp für die Zusammenarbeit.

Es gibt viele Vorteile für das, was Sie vorschlagen.
Seite HINWEIS: (Mein Opa hat meinen Eltern gesagt, dass sie 6 Monate vor dem Kauf nach einem Haus suchen sollen.) Denken Sie daran, dass Sie nach einem Haus (langfristig) für Ihre Daten suchen und dass Sie in 30 Jahren nicht mehr für etwas bezahlen möchten mag nicht.

Meine Empfehlung wäre, eine Baumliste Ihrer Datenquellen (digital oder analog) aufzuschreiben und sie in einem großen Bild anzuzeigen, damit Sie die Daten in präziseren Gruppierungen organisieren können.

In arcgis gibt es Methoden (meine Annahme: Sie haben Ihr bevorzugtes System nicht angegeben), um unterschiedliche Daten zu integrieren.

Sie können einige dieser Informationen ausprobieren, wenn Sie gute Entwurfspraktiken erlernen möchten ...

geodatabase design overview
geodatabase documentaion
Es gibt auch einige ähnliche Links für arc 10.
Resource Center
arc10-Geodatabase