Rasterdifferenz: Wie kann überprüft werden, ob Bilder identische Werte haben?

Gibt es eine Möglichkeit zu überprüfen, ob zwei bestimmte Rasterebenen identischen Inhalt haben ?

Wir haben ein Problem mit unserem gemeinsam genutzten Unternehmensspeichervolumen: Es ist jetzt so groß, dass die Durchführung einer vollständigen Sicherung über 3 Tage dauert. Voruntersuchungen haben ergeben, dass On / Off-Raster einer der größten platzraubenden Schuldigen sind, die wirklich als 1-Bit-Layer mit CCITT-Komprimierung gespeichert werden sollten.

Dieses Beispielbild ist derzeit 2 Bit (also 3 mögliche Werte) und wird als LZW-komprimiertes TIFF mit 11 MB im Dateisystem gespeichert. Nach der Konvertierung in 1 Bit (also 2 mögliche Werte) und der Anwendung der CCITT Group 4-Komprimierung wird diese auf 1,3 MB reduziert, was fast einer Größenordnung der Einsparungen entspricht.

(Dies ist eigentlich ein sehr gut erzogener Bürger, es gibt andere, die als 32-Bit-Float gespeichert sind!)

Das sind fantastische Neuigkeiten! Es gibt jedoch fast 7.000 Bilder, um dies auch anzuwenden. Es wäre einfach, ein Skript zu schreiben, um sie zu komprimieren:

for old_img in [list of images]:
    convert_to_1bit_and_compress(old_img)
    remove(old_img)
    replace_with_new(old_img, new_img)

... aber es fehlt ein wichtiger Test: Ist die neu komprimierte Version inhaltsidentisch?

  if raster_diff(old_img, new_img) == "Identical":
      remove(old_img)
      rename(new_img, old_img)

Gibt es ein Werkzeug oder eine Methode, mit der automatisch nachgewiesen werden kann, dass der Inhalt von Bild-A mit dem Inhalt von Bild-B identisch ist?

Ich habe Zugriff auf ArcGIS 10.2 und QGIS, bin aber auch für fast alles andere offen, als die Notwendigkeit zu vermeiden, alle diese Bilder manuell zu überprüfen, um die Richtigkeit vor dem Überschreiben sicherzustellen. Es würde fälschlicherweise convert schrecklich sein und ein Bild überschreiben , dass wirklich haben mehr haben als Ein / Aus - Werte drin. Die meisten kosten Tausende von Dollar, um sie zu sammeln und zu generieren.

Update: Die größten Straftäter sind 32-Bit-Floats, die bis zu 100.000 Pixel pro Seite reichen, also ~ 30 GB unkomprimiert.

Versuchen Sie, Ihre Raster in numpy Arrays zu konvertieren, und überprüfen Sie dann, ob sie dieselbe Form und dieselben Elemente wie array_equal haben . Wenn sie gleich sind, sollte das Ergebnis sein True:

ArcGIS:

import arcpy, numpy

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

r1 = arcpy.RasterToNumPyArray(raster1)
r2 = arcpy.RasterToNumPyArray(raster2)

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

GDAL:

import numpy
from osgeo import gdal        

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

ds1 = gdal.Open(raster1)
ds2 = gdal.Open(raster2)

r1 = numpy.array(ds1.ReadAsArray())
r2 = numpy.array(ds2.ReadAsArray())

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

Sie können es mit dem Skript gdalcompare.py http://www.gdal.org/gdalcompare.html versuchen . Der Quellcode des Skripts befindet sich unter http://trac.osgeo.org/gdal/browser/trunk/gdal/swig/python/scripts/gdalcompare.py. Da es sich um ein Python-Skript handelt, sollte es einfach sein, das Unnötige zu entfernen Tests und fügen Sie neue hinzu, um Ihren aktuellen Anforderungen zu entsprechen. Das Skript scheint einen Pixel-für-Pixel-Vergleich durchzuführen, indem Bilddaten aus den beiden Bildern Band für Band gelesen werden, und das ist wahrscheinlich eine recht schnelle und wiederverwendbare Methode.

Ich würde vorschlagen, dass Sie Ihre Rasterattributtabelle für jedes Bild erstellen und dann die Tabellen vergleichen. Dies ist keine vollständige Überprüfung (wie die Berechnung der Differenz zwischen den beiden), aber die Wahrscheinlichkeit, dass sich Ihre Bilder bei gleichen Histogrammwerten unterscheiden, ist sehr, sehr gering. Außerdem erhalten Sie die Anzahl der eindeutigen Werte ohne NoData (aus der Anzahl der Zeilen in der Tabelle). Wenn Ihre Gesamtzahl kleiner als die Bildgröße ist, wissen Sie, dass Sie NoData-Pixel haben.

Die einfachste Lösung, die ich gefunden habe, besteht darin, einige zusammenfassende Statistiken zu den Rastern zu berechnen und diese zu vergleichen. Normalerweise verwende ich Standardabweichung und Mittelwert, die für die meisten Änderungen robust sind, obwohl es möglich ist, sie durch absichtliche Manipulation der Daten zu täuschen.

mean_obj = arcpy.GetRasterProperties(input_raster, 'MEAN')
mean = float(mean_obj.getOutput(0))
if round(mean, 4) != 0.2010:
    print("raster differs from expected mean.")

std_obj = arcpy.GetRasterProperties(input_raster, 'STD')
std = float(std_obj.getOutput(0))
if round(std, 4) != 0.0161:
    print("raster differs from expected standard deviation.")

Am einfachsten ist es, ein Raster vom anderen zu subtrahieren. Wenn das Ergebnis 0 ist, sind beide Bilder gleich. Sie können auch das Histogramm oder den Plot nach Farbe des Ergebnisses sehen.