Können wir Telefonkameras mit separaten Sensoren für jedes RGB verbessern?

7

Ich habe also alles über das Multikamerasystem des neuen Huawei P20 Pro gelesen, was mich wirklich zum Nachdenken gebracht hat, wie wir mehrere Kameras verwenden können, um die Bildqualität zu verbessern, insbesondere in einer so kompakten Form wie einem Telefon.

Ich habe in den Bayer-Filter geschaut und festgestellt, dass wir, wenn jede Fotoseite die Intensität einer der RGB-Komponenten erfasst, auch die Intensitäten der beiden anderen RGB-Komponenten verwerfen. Und so müssen wir die verworfenen Intensitäten durch Demosaikieren approximieren.

Was ist, wenn wir ein Kamerasystem mit drei Kameras erstellen, die jeweils nur für eine der RGB-Kameras verantwortlich sind, anstatt auf Demosaikierung zurückzugreifen? Keine Demosaikierung mehr erforderlich. Würde es nicht die Qualität des endgültigen Bildes drastisch verbessern, da es keine Farbnäherungen mehr gibt?

Wäre es wirklich teuer, da die P20 Pro mit 3 Kameras bereits in Ordnung zu sein scheint?

Baseer
quelle
1
Mit einem Bayer-Maskensensor verlieren Sie nicht so viel, wie Sie denken. Die Reaktion der Sensoren unter jedem Farbfilter zeichnet immer noch einen Teil des anderen farbigen Lichts auf. Es ist ähnlich wie bei der Verwendung von Farbfiltern mit Schwarzweißfilm, um drei verschiedene Tonbereiche zu erhalten. Es ist der Unterschied zwischen der Reaktion jedes Gitters mit einem Filter, der auf einer anderen Farbe zentriert ist, der die Interpolation von "Farb" -Informationen ermöglicht (genau so erzeugt das menschliche Sehen auch "Farbe"). Weitere Informationen finden Sie unter: RAW-Dateien speichern 3 Farben pro Pixel oder nur eine?
Michael C
Sie verlieren ungefähr 2/3 des Lichts - nein, nicht weil es 3 Kanäle gibt und sie unbedingt 1/3 des Spektrums schneiden müssen, damit es für Mathematiker gut aussieht. Die Filter versuchen, das menschliche Sehen nachzuahmen und gleichzeitig die Effizienz zu maximieren. Der häufigste Kompromiss besteht darin, etwa 1/2 bis 2/3 des Lichts herauszufiltern, was durch Messen des Bereichs unter der Filtertransmission genau berechnet werden kann Kurven. für diejenigen, die den seelenlosen Zahlen nicht vertrauen ;-) hier entfernt ein mutiger Kerl physisch die Bayer-Filter und erhöht die Empfindlichkeit des exponierten Bereichs: goo.gl/tbCdMA
szulat
@szulat für einige der besten Sensoren, die einen Wirkungsgrad im oberen 50er-Bereich haben, ist es tatsächlich weniger als die Hälfte des verlorenen Lichts, nicht 2/3.
Michael C
@MichaelClark nein, da die gemeldete QE normalerweise eine Spitzeneffizienz für die "beste" einzelne Wellenlänge (z. B. grün) bedeutet. Darüber hinaus muss die Schichtfilterübertragung über Wellenlängen hinzugefügt werden.
Szulat
1
@ MichaelClark wie für Farben - ja! Sie könnten einen "verdünnten" Bayer-Filter herstellen, der sehr wenig filtert, viel Licht in den Sensor lässt und die Empfindlichkeit erhöht. Die Farbinformationen müssten jedoch berechnet werden, indem die Kanaldifferenz verstärkt wird, was bedeutet, dass das Rauschen verstärkt wird. Dies ist einer der Gründe, warum der Foveon-Sensor oder die CMY-Sensoren bei schlechten Lichtverhältnissen so stark ausfallen - obwohl sie theoretisch den Vorteil haben, mehr Licht als ein normaler Bayer-Sensor zu verwenden. Am Ende benutzt also jeder die gute alte reguläre Bayer.
Szulat

Antworten:

6

Ihre Idee ist sehr interessant. Es gibt jedoch einige sehr schwerwiegende Probleme.

  1. Parallaxe. Da die Sensoren zueinander verschoben werden, "sehen" sie unterschiedliche Bilder. Und das Erstellen eines Fotos aus diesen drei wird eine ernsthafte Herausforderung sein und viel Rechenleistung erfordern
  2. Raum. In Mobiltelefonen haben Sie nicht viel Platz, sodass das Hinzufügen eines weiteren Sensors, einer Optik und von Kabeln möglicherweise nicht möglich ist
  3. Preis. Das Hinzufügen von mehr Zensoren und Optiken erhöht den Preis. Und gerade dieser Markt ist in dieser Richtung sehr sensibel. Am Ende ist das Telefon hauptsächlich zum Sprechen da (IMHO)
  4. Marktbedürfnisse. Wie viele Leute wollen noch bessere Fotos vom Telefon?
  5. Reinigung. Jetzt reinigen Sie (vielleicht) ein Objektiv, dann reinigen Sie 3. Richtig, sie sind klein, aber Sie behalten Ihr Telefon (normalerweise) in der Tasche

Sicher, diese Liste kann erweitert werden, aber ich hoffe, das ist genug

BEARBEITEN: Bezogen auf Punkt 1, wenn sich Sensoren in einer Ebene befinden, "verzerrt" dies zusätzlich die von ihnen aufgenommenen Bilder. Und dies bedeutet, dass Sie bei Nahaufnahmen 3 verschiedene Fokussiersysteme haben sollten.

Romeo Ninov
quelle
Parallaxe: Viele Telefonkameras kombinieren bereits Bilder von mehreren Sensoren wie P20 Pro.
Baseer
2
Aber nicht nach Farben aufgeteilt ...
Romeo Ninov
5

Die moderne Bildqualität von Smartphones wird durch ihre winzige Sensorgröße, Linsenqualität und Beugung begrenzt, nicht durch den Demosaikierungsprozess.

Daher scheint die Idee nicht nützlich zu sein.

Beachten Sie, dass das oben erwähnte P20 eine monochrome Kamera aufweist, die die gleichen Probleme bei der Bildregistrierung mit sich bringt wie die hypothetischen getrennten R-, G- und B-Kameras (Parallaxe, inkonsistente Bilder zwischen Kanälen). Und das Ziel war es, die geringe Lichtempfindlichkeit und nicht die Farbauflösung zu erhöhen. Weil die Farbauflösung kein Problem ist und sich niemand darum kümmert.

Szulat
quelle
5

Viele Videokameras machen bereits genau das, was Sie vorschlagen. Sie verwenden jedoch ein Strahlteilungssystem zwischen der Linse und den Sensoren, das im Wesentlichen die Lichtmenge, die jeden Sensor erreicht, um ungefähr das gleiche Verhältnis reduziert wie bei Verwendung eines Bayer-Maskenfilters.

Das größte Problem bei der Verwendung von drei verschiedenen Objektiven bei gleichzeitig sehr hoher Präzision ist die Komplexität und die Kosten für die Erstellung perfekt aufeinander abgestimmter Objektivsätze. Dies ist nicht unlösbar, aber die Lösung ist wahrscheinlich teurer und rechenintensiver als die Verwendung einer Bayer-Maske und die Demosaikierung.

Was ist, wenn wir ein Kamerasystem mit drei Kameras erstellen, die jeweils nur für eine der RGB-Kameras verantwortlich sind, anstatt auf Demosaikierung zurückzugreifen? Keine Demosaikierung mehr erforderlich. Würde es nicht die Qualität des endgültigen Bildes drastisch verbessern, da es keine Farbnäherungen mehr gibt?

Jede dieser drei Kameras würde einen Einfarbfilter davor benötigen, um die Vergleichsunterschiede von jeder zu verwenden, um ein "Farb" -Bild zu erzeugen. Dies bedeutet, dass der gleiche Anteil an Licht, der von den winzigen Filtern eines Bayer-maskierten Sensors absorbiert / reflektiert wird, immer noch von den großen Einzelfarbfiltern vor jedem der drei unabhängigen Sensoren absorbiert / reflektiert wird. Ohne einen Filter mit einer anderen Farbe vor jedem Filter wären alle identische Schwarzweißkameras, die dieselben Daten erzeugen.

Hier ist die Sache mit "Farbe": Es gibt keine "Farbe" in der Natur. Licht hat nur Wellenlängen. Elektromagnetische Strahlungsquellen an beiden Enden des sichtbaren Spektrums haben ebenfalls Wellenlängen. Der einzige Unterschied zwischen sichtbarem Licht und anderen Formen elektromagnetischer Strahlung wie Radiowellen besteht darin, dass unsere Augen chemisch auf bestimmte Wellenlängen elektromagnetischer Strahlung reagieren und nicht auf andere Wellenlängen . Darüber hinaus gibt es keinen wesentlichen Unterschied zwischen "Licht" und "Radiowellen" oder "Röntgenstrahlen". Nichts.

Die Zapfen in unserer Netzhaut bestehen aus drei verschiedenen Größen, die jeweils am besten auf eine unterschiedliche Wellenlänge elektromagnetischer Strahlung reagieren. Bei unseren "roten" und "grünen" Zapfen gibt es kaum Unterschiede in der Reaktion auf die meisten Wellenlängen des Lichts. Durch den Vergleich des Unterschieds, der eine höhere Reaktion aufweist, des roten oder des grünen Kegels, kann unser Gehirn jedoch interpolieren, wie weit und in welche Richtung in Richtung Rot oder Blau die Lichtquelle am stärksten ist.

Farbe ist ein Konstrukt unseres Augenhirnsystems, das die relative Reaktion der drei unterschiedlich großen Zapfen in unserer Netzhaut vergleicht und eine Wahrnehmung von "Farbe" erzeugt, basierend auf den unterschiedlichen Mengen, die jeder Zapfensatz auf dasselbe Licht reagiert. Es gibt viele Farben, die Menschen wahrnehmen und die nicht durch eine einzige Lichtwellenlänge erzeugt werden können. "Magenta" zum Beispiel ist das, was unser Gehirn erzeugt, wenn wir gleichzeitig rotem Licht an einem Ende des sichtbaren Spektrums und blauem Licht am anderen Ende des sichtbaren Spektrums ausgesetzt sind.

Michael C.
quelle
Ja, es ist gut zu bemerken, dass ähnliche Systeme bereits existieren. Aber das "größte Problem", das Sie erwähnen, ist kein echtes Problem mehr, da jetzt alles in der Software leicht korrigiert werden kann. wie Telefone wie das P20 Pro oder noch extravaganter "Light 16" beweisen. Tatsächlich kann das perfekt abgestimmte Objektiv nicht einmal existieren, da es immer eine Parallaxe gibt und solche Bilder jedes Mal stark verarbeitet werden müssten.
Szulat
3
Und ein weiteres Problem im Sinne des Telefons wird die Größe sein. Ein solches Split-System erfordert eine gewisse Tiefe, die in Telefonen normalerweise nicht verfügbar ist
Romeo Ninov,
2
Das Tiefenproblem für den Strahlteiler sollte selbstverständlich sein. Der Hauptpunkt ist jedoch, dass der Strahlteiler auch die Lichtmenge reduziert, die jeden Sensor erreicht. Die Anzahl der Fotos, die es um ein Pixel gut machen, oder die Gesamtsensitivität des Systems mit einem Ein-Objektiv / Drei-Sensor-System steigt also nicht gegenüber einem Bayer-maskierten Sensor.
Michael C
3

Diese Technologie existiert in Form einer 3ccd / 3-Chip-Kamera . Es würde einige Probleme beim Einpassen des Prismas in den in einem Telefon verfügbaren Platz geben. Ich denke, Sie würden am Ende etwas haben, das mindestens so dick ist wie ein iPhone der Generation 1, aber möglicherweise ist etwas erforderlich, das näher an der Dicke eines Kartenspiels liegt. Ich nehme an, der Markt könnte stark genug sein, um ein solches Gerät zu unterstützen. Es gab genug Interesse für Vorbestellungen, um für den 1200-Dollar-Wasserstoff ausverkauft zu sein . Ich weiß, ich hätte fast einen gekauft.

PhotoScientist
quelle