Wäre ein Demosaik-Algorithmus für Schwarzweiß nützlich?

11

Wäre ein Demosaik-Algorithmus "nur Schwarzweiß" von Vorteil, da der Hauptzweck der Demosaikierung darin besteht, die Farbe so genau wie möglich wiederherzustellen? Das heißt, anstatt zuerst die Farbe wiederherzustellen und dann Schwarzweiß zu konvertieren, ist es möglicherweise besser, die RAW-Datei direkt in Schwarzweiß zu konvertieren?

Ich interessiere mich besonders für die Bildqualität (zB Dynamikbereich und Schärfe). Welche gängigen Demosaikierungsalgorithmen eignen sich am besten für die Schwarz-Weiß-Konvertierung?

Lars Kotthoff
quelle
2
Farbe ist ein wesentlicher Faktor für ein RAW-Bild, das mit einem Farbschichtsensor erstellt wurde. Das Problem bei der Konvertierung in Graustufen besteht darin, dass Sie nur eine Luminanz für eine einzelne bestimmte Farbe bei einem bestimmten Pixel haben. Es spielt keine Rolle, ob Sie jedes Pixel nur als Luminanzwert oder als Farbwert behandeln. Jedes Pixel repräsentiert nur ungefähr 1/3 der gesamten Luminanz, die zum Zeitpunkt der Belichtung auf das Pixel fiel. "Demosaikieren" ist für Graustufenbilder wirklich unnötig. Um jedoch ideale Graustufenbilder zu erhalten, sollten Sie einen Graustufensensor verwenden ... ohne die Schicht überhaupt!
jrista
1
Welche Demosaikierungsalgorithmen für die Schwarzweißkonvertierung bei Verwendung einer Farbkamera ideal sind ... Ich würde sagen, die einfachste Form ist Ihre Standard-Quad-Interpolation. Viele andere fortschrittlichere Demosaikierungsalgorithmen wurden entwickelt, um Farbmoire und andere farbbezogene Artefakte zu minimieren. Wenn Sie sich nur für Schwarzweiß interessieren, werden bei der Standardinterpolation mit 2 x 2 Pixeln die meisten Details beibehalten.
jrista
2
@jrista Ich bin mir nicht sicher, warum eine naive Interpolation mehr Details bewahren würde als einer der fortschrittlicheren Algorithmen, die versuchen, zwischen Helligkeits- und Intensitätsänderungen zu unterscheiden. In jedem Fall können Farbartefakte auch in Schwarzweißbildern angezeigt werden, je nachdem, wie die Konvertierung durchgeführt wird.
Matt Grum
1
Nun, ich denke, ich stütze mich hauptsächlich auf AHDD, was dazu neigt, Details zu mildern. Zumindest liefert die Implementierung in Lightroom etwas weichere Ergebnisse als der von Canon DPP verwendete Algorithmus, der mit einem einfacheren Demosaikierungsalgorithmus sehr scharfe und scharfe Ergebnisse liefert (obwohl ich denke, dass dies nicht so einfach ist wie bei Ihrem einfachen 2x2.)
jrista
"Vergleich der Farbdemosaikierungsmethoden" (Olivier Losson, Ludovic Macaire, Yanqin Yang) geht sehr detailliert auf verschiedene Demosaikalgorithmen ein. Es geht nicht nur darum, die Farbe zu dekodieren, die besseren Algorithmen berücksichtigen alle Umgebungsinformationen, um die besten Ergebnisse für jedes Pixel zu erzielen. Ich bin nicht davon überzeugt, dass ein dedizierter Graustufen-Decoder es besser machen könnte.
Mark Ransom

Antworten:

8

Es gibt keine Möglichkeit, eine RAW-Datei direkt in Schwarzweiß zu konvertieren, ohne zuvor die Farbe wiederherzustellen, es sei denn, Ihr Konverter verwendet nur einen der Pixelsätze R, G, B, um ein Bild zu erstellen. Dieser Ansatz würde zu einem erheblichen Auflösungsverlust führen.

Um bei der Konvertierung in Schwarzweiß nicht an Auflösung zu verlieren, müssen Sie alle RG- und B-Pixel verwenden. Dies bedeutet implizit, dass Farbberechnungen durchgeführt werden müssen. An diesem Punkt können Sie auch einen der erweiterten Farbdemosaikierungsalgorithmen verwenden und anschließend konvertieren das Ergebnis zu schwarz und weiß.

Matt Grum
quelle
1
Eine Halbierung der Auflösung ohne gewichteten Durchschnitt der Quads durch Extrahieren einer Farbe wäre nicht das erwartete Graustufenbild, da ein grüner, roter oder blauer Filter auf eine Schwarzweißkamera angewendet würde. Und eine philosophische Frage: Teilen Sie jede Achse durch 2, reduzieren Sie die Mp-Zahl um 4. Ich würde diese halbe Auflösung nennen. Aber Sie scheinen sqrt (2) pro Achse / 2 Mp count "halbe Auflösung" zu nennen. Welche Definition ist technisch korrekt? Wenn Auflösung die Fähigkeit zur Auflösung ist, dann sind Breite / 2 und Höhe / 2 die halbe Auflösung in einem 2D-System, in dem Sie die Rotationsinvarianz beibehalten möchten.
Michael Nielsen
Erweiterung meiner Sicht auf Auflösung Ich denke, dass Mp nicht die Auflösung ist, sondern eine Marketing-Marketing-Nummer. Als Bildverarbeitungsingenieur wird eine Auflösung als w X h angegeben.
Michael Nielsen
@MichaelNielsen Welches "erwartete Graustufenbild"? Es gibt viele verschiedene Methoden zum Konvertieren in Graustufen. In der Frage wurde kein Ansatz mit gleicher Gewichtung angegeben. Zweitens, wenn Sie einen linearen Detektor hätten und die Anzahl der Proben halbieren würden, würde sich das Auflösungsvermögen, dh die maximal nachweisbare Detailmenge, halbieren, würden Sie nicht sagen, dass es um den Faktor Wurzel 2 reduziert wird Wenn Sie ein 2D-Detektorfeld (z. B. einen Bildsensor) haben und die Anzahl der Proben in beide Richtungen halbieren, sodass Sie ein Viertel übrig haben, würden Sie sagen, dass die Auflösung um den Faktor 4 reduziert wurde.
Matt Grum
Wenn Sie nur die x- oder y-Achse halbieren, haben Sie in jeder Richtung unterschiedliche Auflösungen, wodurch die Möglichkeit, eine Gesamtauflösung in MP zu zählen und einen einzelnen Faktor "/ 2 Auflösung" zu berechnen, beeinträchtigt wird. Ofc. Objektive haben auch nicht die gleiche Auflösung, aber die Sensorhersteller sind ziemlich stolz darauf, dass ihre Pixel heutzutage quadratisch und quadratisch sind und somit in beiden Richtungen die gleiche Auflösung ergeben. Dies bedeutet eine Auflösung von 640x = 480y. Sehen Sie, wie die Pixelnummer selbst nichts bedeutet. Auflösung 640 ist die gleiche Auflösung wie 480.
Michael Nielsen
2
Graustufen: Ich habe nicht gleich gewichtet gesagt. Und ich weiß, dass es viele verschiedene Graustufenversionen gibt, aber ich kann wetten, dass R, G oder B nicht zu den vom OP erwarteten gehören. Am wahrscheinlichsten ist die Version 0.11 * b + 0.59 * g + .3 * r.
Michael Nielsen
8

Sie benötigen einen Demosaik-Algorithmus, auch wenn Sie ein Bild in Schwarzweiß konvertieren.

Ein Grund dafür ist recht einfach - sonst würden Sie überall Subpixel-Artefakte erhalten. Sie müssen feststellen, dass das vom Sensor aufgenommene Bild ziemlich unordentlich ist. Schauen wir uns das Beispiel aus Wikipedia an :

Demosaikierung

Stellen Sie sich nun vor, wir machen keine Demosaikierung und konvertieren RAW einfach in Graustufen:

Graustufen

Nun ... siehst du die schwarzen Löcher? Rote Pixel haben im Hintergrund nichts registriert.

Vergleichen wir das nun mit dem in die Graustufen konvertierten demosaikierten Bild (links):

normal gegen kaputt

Sie verlieren im Grunde Details, aber auch viele Artefakte , die das Bild ziemlich unerträglich machen. Das Umgehen der Demosaikierung von Bildern verliert auch viel Kontrast, da die Schwarzweißkonvertierung durchgeführt wird. Schließlich können die Farbtöne, die zwischen den Primärfarben liegen , auf unerwartete Weise dargestellt werden, während große Oberflächen von Rot und Blau zu 3/4 leer sind.

Ich weiß, dass es eine Vereinfachung ist, und Sie könnten versuchen, einen Algorithmus zu erstellen, der einfach: effizienter bei der RAW-Konvertierung in Schwarzweiß ist, aber mein Punkt ist:

Sie benötigen ein berechnetes Farbbild, um korrekte Graustufen in Schwarzweißfotos zu erzeugen.

Der gute Weg, Schwarzweißfotografie zu machen, besteht darin, das Farbfilter-Array vollständig zu entfernen - wie es Leica in Monochrom getan hat - und nicht die RAW-Konvertierung zu ändern. Andernfalls erhalten Sie entweder Artefakte oder falsche Graustufen oder eine geringere Auflösung oder all diese.

Hinzu kommt, dass die RAW-> Bayer-> B & W-Konvertierung Ihnen bei weitem mehr Optionen zum Verbessern und Bearbeiten von Bildern bietet und Sie eine hervorragende Lösung erhalten, die nur durch eine spezielle Sensorkonstruktion gestürzt werden kann. Aus diesem Grund sehen Sie keine dedizierten Schwarzweiß-RAW-Konverter, die nicht irgendwo in den Prozess zurückfallen würden.

MarcinWolny
quelle
1

Bildverarbeitungskameras mit Bayer-Filtern können Graustufenbilder direkt liefern, dies geschieht jedoch durch Demosaikieren, Konvertieren in YUV und Senden nur des V-Kanals (den ich normalerweise mindestens verwende). Wenn sie diese Farbrekonstruktion besser umgehen könnten, würden sie es wahrscheinlich tun, da sie ständig die Frameraten erhöhen (die typische Kamera, die ich verwende, läuft zum Beispiel mit 100 Bildern pro Sekunde).

Wenn das farbbasierte Demosaikieren ignoriert wird, kann es die Hälfte der Auflösung und den gewichteten Durchschnitt jedes 2x2 Quad betragen. Wenn Sie jedoch die volle Auflösung wünschen, ist es besser, den normalen Farbdemosaikalgorithmus zu verwenden, der versucht, Kanten besser zu erhalten. Wenn wir wissen, dass wir Graustufen wollen, bekommen wir von Anfang an nur eine Schwarzweißkamera. Wenn wir nach einer bestimmten Farbe suchen, können Sie einen Farbfilter verwenden, da dieses Setup in der Bildqualität weit überlegen ist, wodurch die Notwendigkeit einer Überabtastung der Auflösung verringert wird, was wiederum eine Überabtastung der Auflösung ermöglicht Verwendung eines schnellen Sensors mit niedriger Auflösung und größeren Pixeln, was wiederum ein noch besseres Bild ergibt.

Michael Nielsen
quelle
Sie haben geschrieben: "In YUV konvertieren und nur den V-Kanal senden" Sie meinen sicherlich das Senden des Y-Kanals, da Y der Luminanzkanal ist.
TopCat
1

Der Effekt der Farbfilter über jeder Pixelvertiefung in der Bayer-Ebene ist der gleiche wie beim Aufnehmen von Schwarzweißfilmen mit Farbfiltern über dem Objektiv: Er ändert die Beziehung der Graustufen verschiedener Farben in der fotografierten Szene. Um einen genauen Luminanzpegel für alle Farben in der Szene zu erhalten, müssen die Signale von jedem Pixel demosaikiert werden. Wie andere bereits erwähnt haben, würde ein Sensor ohne Bayer-Schicht ein monochromes Bild liefern, das nicht demosaikiert werden muss. Dies sollte zu einer besseren Bildschärfe führen, wenn der Verwirrungskreis der Linse gleich oder kleiner als die Breite jedes Pixels ist.

In der Praxis habe ich verschiedene Probleme beim Konvertieren von RAW-Dateien in Schwarzweiß mit Canon Digital Photo Professional (DPP) festgestellt.

  1. Die Anpassung des Weißabgleichs kann eine Änderung der insgesamt wahrgenommenen Luminanz auf dieselbe Weise bewirken wie die Kontrastanpassung. Als solches kann es zur Feinabstimmung des Kontrasts verwendet werden.
  2. Der Weißabgleich wirkt sich auch auf die relative Leuchtkraft verschiedener Farben in der Szene aus. Dies kann verwendet werden, um die Anwendung der Filtereffekte "Orange", "Gelb", "Rot" usw. zu optimieren. Rot scheint am stärksten davon betroffen zu sein und ist bei 2500K viel dunkler als bei 10000K. Zumindest für mich ist es überraschend, dass Blautöne nicht das Gegenteil zeigen.
  3. Da ein Schwarzweißfoto praktisch kein Chrominanzrauschen aufweist, kann es bei "0" belassen werden.
  4. Das ungeschärfte Maskenwerkzeug bietet viel mehr Kontrolle über die Schärfe als der einfachere Schieberegler "Schärfe". Insbesondere wenn das Bild einige "warme" oder "heiße" Pixel enthält, können Sie die Gesamtschärfe erhöhen, ohne sie hervorzuheben.

Im Folgenden finden Sie zwei Versionen derselben Belichtung, die auf einer Canon 7D mit einem EF 70-200 mm 1: 2,8L IS II-Objektiv und einem Kenco C-AF 2X Teleplus Pro 300-Telekonverter aufgenommen wurden. Das Bild wurde auf 1000 x 1000 Pixel zugeschnitten. Die erste wurde mit den darunter gezeigten Einstellungen in der Kamera konvertiert. Die zweite wurde mit den im Screenshot gezeigten Einstellungen bearbeitet. Zusätzlich zur Registerkarte RAW wurde eine Einstellung für die Luminanzrauschreduzierung von 2 sowie ein Wert für die chromatische Aberration von 99 angewendet.

Mond - unbearbeitet

In Kamerainfos

Mond - bearbeitet

die Einstellungen

Michael C.
quelle
0

Ich würde einen solchen Algorithmus vorschlagen (vorausgesetzt, Ihr Ziel ist weiß und hat eine konstante Farbtemperatur):

  • Demosaik RAW Bayer zu RGB
  • Downsample-Farbe auf Graustufen
  • Erstellen Sie eine LUT zwischen Roh-Bayer-Werten und Graustufenwerten (dies müsste einmal pro Farbebene RGGB oder RGB durchgeführt werden).
  • Verwenden Sie den Filter LUT pro Farbe, um den RAW Bayer ohne Filterung zwischen Pixeln direkt in Graustufen umzuwandeln

Theoretisch würde sich dies den Ergebnissen eines echten Monochromsensors annähern.

Elliot Woods
quelle