Wie funktioniert Super Resolution?

10

Aus dieser Frage habe ich den Wikipedia-Artikel gelesen, kann aber nicht verstehen, warum das Stapeln von Kopien desselben Bildes übereinander die Bildauflösung verbessern sollte.

K ''
quelle

Antworten:

13

Der Prozess ist kompliziert, aber dies sollte eine Vorstellung davon geben, was vor sich geht. Stellen Sie sich vor, Sie haben eine normale Kamera, aber Motoren, um den Sensor um ein halbes Pixel in eine beliebige Richtung zu bewegen.

Anstatt ein Bild aufzunehmen, nimmt diese Kamera vier Bilder auf: eines zentriert, eines um ein halbes Pixel nach rechts verschoben, eines um ein halbes Pixel nach unten verschoben und eines um ein halbes Pixel nach rechts und ein halbes Pixel nach unten verschoben.

Wir können dann das zentrierte Bild aufnehmen, es verdoppeln und die Pixel wie folgt voneinander trennen:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Dann können wir die Lücken mit den anderen verschobenen Bildern 1, 2 und 3 füllen:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Lassen Sie uns ein Bild mit der doppelten Auflösung. Interessanterweise gibt es Kameras, die diese Technik verwenden - wie die Hasselblad H4D-200MS (Entschuldigung, wenn Sie fragen müssen, wie viel Sie sich keine leisten können).

Die Superauflösung mit einer Standardkamera ist etwas komplexer, als wenn Sie eine unkontrollierte Kamera- oder Motivbewegung haben und nicht annähernd eine exakte Verschiebung um ein halbes Pixel erreichen. Wenn Sie jedoch kein großes Pech haben, ist Ihr verschobenes Bild um einen gewissen Grad vom Original versetzt. Wenn Sie genügend Bilder kombinieren, erhalten Sie ein sehr unregelmäßig abgetastetes Bild (mit Pixel-Samples, die nicht auf ein Raster fallen), das jedoch interpoliert werden kann (indem Linien zwischen Samples gezogen werden, um ein Ergebnis zu erraten, das auf eine exakte Gitterlinie fällt) ein normales Bild.

Matt Grum
quelle
1
Es ist wichtig zu bedenken, dass die Bewegung nicht innerhalb der Kamera stattfinden muss, sondern durch Bewegen der Kamera selbst erfolgen kann. Aus diesem Grund funktioniert die Superauflösung sehr gut mit Videos, da die Kamera fast immer winzige Bewegungen zwischen den Bildern aufweist.
Håkon K. Olafsen
Dieser Nieselregen oder Dithering wird in der digitalen Astrofotografie häufig verwendet. Viele einzelne Bilder werden gestapelt, um das dem Bild innewohnende Rauschen zu reduzieren, während gleichzeitig die Möglichkeit besteht, signifikante Details und Auflösungen wiederherzustellen.
Smigol
und wie kann das durch Stapeln mehrerer Kopien desselben Fotos erreicht werden? Ich bin verwirrt, weil Sie nach dem Stapeln ausrichten müssen und dies die Verschiebung zwischen den Pixeln aufhebt, was wie die Kernidee hinter der Superauflösung aussieht
K ''
1
@AkramMellice - das Stapeln desselben macht das nicht. Software kann verwendet werden, um die Informationen basierend auf anderen Informationen im Bild zu untersuchen und möglicherweise "auszufüllen", aber es wäre weniger als perfekt ... Auf jeden Fall wäre es unglaublich beeindruckend, wenn Pentax diese Funktion hinzufügen würde, was durchaus möglich ist Angesichts ihrer Anti-Shake-Funktion ist der Sensor aktiviert und es ist eine Variation der Art und Weise, wie sie die Astrotrace mit dem GPS-Gerät durchführen.
John Cavan
3

Beachten Sie, dass der Sensor kein perfektes Erfassungsgerät ist. Jedes Pixel wird mit einer gewissen Fehlermenge aufgezeichnet. Zum Beispiel, wenn der genaueste Wert eines Pixels ist N, wird der Sensor einen Wert aufnehmen , die in einem Bereich liegt , N-E to N+Efür ein bestimmtes E. Wenn ein guter Sensor Eklein ist, hat ein schlechter Sensor einen größeren E.

Beachten Sie auch, dass bei jeder Belichtung ein bestimmtes Pixel einen anderen Fehler aufweist und die Zellen im Sensor keinen Speicher haben, sodass ein Pixel, das einmal niedrig war, im nächsten möglicherweise hoch ist.

Wenn Sie mehrere Aufnahmen desselben Motivs machen und diese zusammen mitteln, reduzieren Sie effektiv E. In unserem obigen Beispielpixel werden Sie eine Reihe verschiedener Werte mitteln, die sich um ein Unbekanntes befinden N, sodass der Durchschnitt Sie diesem Ideal näher bringt N.

Miguel
quelle
3
Es reduziert nicht nur den Fehler - in diesem Fall reduziert es nicht hauptsächlich den Fehler - es erhält MEHR Informationen, indem die nominell gleichen Daten wiederholt erfasst werden und nach zusätzlichen Informationen gesucht wird, die mit einer Auflösung vorliegen, die feiner als der Sensorabstand ist. Das Hinzufügen eines mechanischen Ditherings zum Sensor zwischen den Aufnahmen und das anschließende Realisieren würde dies unterstützen. // Die A77 Sony DSLR und einige andere Sonys verfügen über einen rauscharmen Multi-Shot-Aggregationsmodus, der NICHT nur ein Mittelungsprogramm ist. Sie können die Kamera erheblich bewegen, da sie 6 Bilder benötigt und dennoch ein verbessertes Bild erhält.
Russell McMahon
1
Dies erklärt, wie das Stapeln von Bildern zur Rauschunterdrückung funktioniert. Während übermäßiges Rauschen Sie daran hindern kann, Details aufzulösen, unterscheidet sich die Superauflösung, da mindestens einige Kamerabewegungen erforderlich sind, um die Auflösung zu erhöhen.
Matt Grum
Wie bereits erwähnt, beschreiben Sie nicht die Superauflösung, sondern das Stapeln von Bildern. Dies erhöht nicht die Auflösung, sondern reduziert das Rauschen.
Håkon K. Olafsen
Während der Titel der Frage die Superauflösung erwähnt, fragt die Frage im Text nach dem "Stapeln von Kopien desselben Bildes". Was ich erklärt habe, ist in der Tat eine von vielen Möglichkeiten, die Auflösung Ihrer Bilder zu erhöhen, und dies kann mit jeder Kamera durchgeführt werden.
Miguel
1

Das Folgende ist, wie ich die Dinge verstehe. Die Leute sollten sich frei fühlen, auf Missverständnisse hinzuweisen, damit wir alle erbaut werden, aber hoffentlich werden sie tatsächlich auf alle hinweisen, die sie entdecken und nicht nur in ihrem Bier murmeln. (oder Bärte oder ...).

Einfach und vereinfacht ausgedrückt, enthalten die verschiedenen Fotos leicht unterschiedliche Informationen, und es werden verschiedene Methoden verwendet, um diese zusätzlichen Informationen zu erkennen, zu extrahieren und auf konsistente additive Weise zu kombinieren.

Es ist erwähnenswert, dass das System nicht in allen Fällen garantiert funktioniert.
Die [Wikipedia Super-Resolution Seite] stellt fest:

  • Bei den gängigsten SR-Algorithmen wurden die im SR-Bild gewonnenen Informationen in Form von Aliasing in die LR-Bilder eingebettet.

    Dies erfordert, dass der Erfassungssensor im System schwach genug ist, dass tatsächlich ein Aliasing stattfindet. Ein beugungsbegrenztes System enthält weder ein Aliasing noch ein System, bei dem die Modulationsübertragungsfunktion des Gesamtsystems Hochfrequenzinhalte herausfiltert.

Aliasing ist die Fähigkeit des Systems, Daten der betreffenden Frequenzen korrekt darzustellen. Siehe "Erklärung" als Ende.

Wenn ich sie richtig verstehe (und ich kann oder kann nicht), bedeutet ihre Phrase "ist schwach genug", dass es sich um zusätzliche Informationen handelt, die der Sensor nicht selbst auflösen kann und die normalerweise als schlecht angesehen werden. Daher wird sie normalerweise nach Möglichkeit unterdrückt, ABER dass dies "Aliasing" ist. Das SR-System benötigt zusätzliche Informationen. Die Nikon D800r verfügt über keinen optischen Antialisasing-Filter am Sensor, während die Standard-D800 und fast alle anderen DSLRs über einen solchen Filter verfügen.

MTF ist effektiv die Fähigkeit des Objektivs, Kontrast zu erzeugen ODER "Schärfe" zu erzeugen (die beiden sind eng miteinander verbunden. MTF ist normalerweise am besten in der Nähe der Objektivmitte und fällt bei einem rechteckigen Bild in Richtung Kanten ab, normalerweise eher in Bildecken Sie sagen, dass die Fähigkeit des Systems, ein Bild mit hoher Auflösung zu erzeugen, von seiner Fähigkeit abhängt, Kontrast und Schärfe wiederzugeben - dh von seiner Qualität. Das Objektiv muss mindestens so gut sein wie das Objektiv, das das Bild hervorbringen würde rsolutionj iomage direkt, wenn Sensor- und Prozessfähigkeiten verbessert wurden.


Aliasing ist das, was passiert, wenn ein Informationsstrom so langsam abgetastet wird, dass sich einige der Hochfrequenzinformationen schneller ändern als die Abtastrate und "umhüllt" und so aussieht, als wäre es wirklich eine Komponente mit niedrigerer Frequenz. In einem Begrenzungssystem muss die Abtastrate mindestens doppelt so hoch sein wie die höchste vorhandene Informationsrate, in der Praxis sind jedoch etwas höhere Raten erforderlich.

Einfaches Beispiel:

  • Betrachten Sie die Reihenfolge 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    Offensichtlich gibt es ein Muster, das sich alle 12 Einheiten wiederholt.
    Es ist ein Dreieck, das für 6 Zyklen zunimmt und für weitere 6 Zyklen abnimmt und sich dann mit einer Periode von 12 Einheiten wiederholt.

    Probieren Sie die Sequenz jetzt nur alle 11 Mal aus. Wir erhalten
    0 1 2 3 4 5 6 5 4 3 2 1
    Dies ist genau das gleiche Muster, ABER es ändert sich 11-mal langsamer - eine Dreieckswelle mit einer Periode von 11 x 12 = 132 Einheiten.

    Wenn Sie alle 8 Male dieselbe Sequenz abtasten, erhalten Sie 0 4 4 0 4 4 0 4 4,
    dh es sieht aus wie eine 1: 2-Rechteckwelle mit einer Periode von 24 Einheiten.

    Jede Abtastperiode von mehr als 6 Zeiteinheiten = einem halben Zyklus führt zu solchen Aliasing-Fehlern.

Russell McMahon
quelle