Warum können Digitalkamerasensoren nicht jede Fotoseite einzeln belichten?

14

Warum können Kamerasensoren nicht so funktionieren, wie es das menschliche Auge kann? Was ich meine ist, warum muss ein bestimmter Teil des Bildes über- / unterbelichtet sein, wenn wir dunkle und helle Bereiche beim Aufnehmen eines Fotos ausgleichen und die Einstellungen für Blende und Verschlusszeit festlegen.

Ich verstehe, dass der Lichteinfall von Blende und Verschlusszeit abhängt, aber da DSLRs digital sind, kann es keine Technologie geben, die es ermöglicht, dass jede Sensorzelle ihre eigene Messung verwendet und daher nicht alle der gleichen Menge ausgesetzt werden Licht, aber abhängig von der Belichtungsmessung, würde eine CPU der Kamera bestimmte Zellen abschalten, um sie nicht zu überbelichten.

Ich hoffe, ich sage keinen Unsinn. Es scheint mir eine plausible Idee zu sein.

mattdm
quelle
Es hört sich so an, als würden Sie sich fragen, warum ein Sensor keinen unbegrenzten Dynamikbereich haben kann. Oder vielleicht wäre ein anderer Weg "Wie funktioniert ein Kamerasensor?". Interessante Frage trotzdem.
Dpollitt
Ja, du würdest sagen, dass die Frage nach dem unbegrenzten Dynamikbereich ist, aber es erscheint mir eigentlich ziemlich seltsam, dass jede Sensorzelle die Fähigkeit hat, jede Lichtmenge "aufzunehmen" oder einzuschlagen (Beschneiden von Weiß / Schwarz nicht beachten) Warum kann es nicht auf Einzelzellenbasis durchgeführt werden, sondern erfasst stattdessen die gleiche Menge über den gesamten Sensor? Vielleicht würde es etwas mehr CPU-Leistung erfordern und so weiter, aber ich bin gespannt, ob es überhaupt von einem DSLR-Hersteller in Betracht gezogen wurde ...
2
Zu viel Verkabelung ist meine Vermutung . Sie würden nicht-triviale zusätzliche Schaltkreise pro Fotoseite benötigen. Am nächsten sind Kameras, die die Hälfte der Pixel während der Belichtung lesen.
Itai
Haben Sie einen Link zum Artikel? Die einzige Antwort auf meine ursprüngliche Frage ist also, dass sie zu diesem Zeitpunkt in der Geschichte der DSLR-Technologie tatsächlich zu kompliziert ist.
1
Das ist die Art von Frage, die etwas über den Tellerrand hinausgeht. Es ist sehr vernünftig, es zu fragen. Ich bin sicher, dass eines Tages Kameras auf eine sehr ähnliche Weise wie Ihr Vorschlag funktionieren werden. ... Obwohl ich persönlich finde, dass technische Einschränkungen die künstlerischen nähren.
AJ Finch

Antworten:

19

Wer entscheidet, welche Pixel wie viel Gewinn bekommen? Vieles, was im menschlichen visuellen System vor sich geht, geschieht im Kortex, nicht im Auge, und hängt davon ab, was wir aufgrund einer Kombination aus intellektueller Entscheidung und dem (etwas überschreibbaren) instinktiven Streben nach Selbsterhaltung für wichtig halten . Während es in gewissem Sinne wahr ist, dass wir sehen, was da ist, ist es in gleichem Sinne wahr, dass wir sehen, was wir sehen wollen (oder müssen).

Es wäre fast soweitEs ist trivial, einen Sensor mit relativ geringer Pixeldichte mit großen Fotoseiten zu erstellen, die einen enormen Dynamikbereich ermöglichen, und (unter der Annahme einer CCD-Technologie, da die aktuelle CMOS-Sensortechnologie nicht auf diese Weise funktionieren kann) zusätzlich einen elektronischen Verschluss pro Pixel der mechanische Verschluss. Also, was würde dir das bringen? Ein flaches Bild mit viel Bittiefe und sehr geringem lokalen Kontrast (wenn die gesamte Bittiefe unverändert für die Anzeige oder den Druck konvertiert wird) sowie eine Anzahl von Pixeln, die durch die Sensorsättigung fast, aber nicht vollständig abgeschnitten werden ( obwohl sie tatsächlich durch die begrenzende Wirkung des elektronischen Verschlusses kurz vor dem Sättigungspunkt abgeschnitten werden). Nehmen wir zum Zwecke der Argumentation an, dass dieser Sensor und der zugehörige Computer die Schnittdaten aufzeichnen könnten (der Grund, warum die Aufzeichnung bei diesem Gefühl gestoppt wurde, Dies könnte so einfach sein, wie die tatsächliche Expositionsdauer an diesem Ort aufzuzeichnen. Das würde es der Elektronik der Kamera ermöglichen, die Zahlen zu rekonstruieren, wenn die Fotoseite bis zum Schlusspfiff im Spiel hätte bleiben können. Jetzt haben wir ein noch flacheres Bild mit größerer Bittiefe. Und wo ziehst du die Grenze? 32 Bits? 64?

Jetzt kommt der schwierige Teil - die Umwandlung dieser flachen Bilddaten mit hohem Dynamikbereich in ein überzeugendes Foto. Der einfachste Ansatz besteht darin, die acht Bits (oder was auch immer die Ausgabebittiefe sein würde) zu nehmen, die das primäre gemessene Bild darstellen, und den Rest wegzuwerfen. Es wäre wahrscheinlich nicht viel schwieriger, die Daten an eine S-Kurve anzupassen und die extremen Schatten und / oder Lichter zu komprimieren - was mehr oder weniger dem entspricht, was die erweiterten Einstellungen für den Dynamikbereich bei neueren Kameras bereits bewirken. Es sind jedoch nur so viele Ausgabebits pro Pixel verfügbar, und die meisten erweiterten Hervorhebungswerte werden auf Weiß aufgerundet (oder mindestens eine Mischung aus 254 und 255). Sie haben also sehr wenig gewonnen, indem Sie das System dramatisch kompliziert haben.

Es gibt jedoch noch eine offene Option - die selektive Bereichszuordnung. Warum nicht den Himmel oder nur die Wolken an diesem Himmel in den Hintergrund bringen, um Details beizubehalten und gleichzeitig den gewünschten Kontrast im Vordergrund beizubehalten? Hier lebt das schwierige Problem. Was ist wichtig? Sollte die Kamera für Sie entscheiden? Wenn die Kamera entscheidet, dann haben wir einen großen Fortschritt in der Bildverarbeitung und der künstlichen Intelligenz, um uns zuerst zu bewegen. Wenn nicht, möchten Sie dann wirklich für jedes Bild, das Sie aufnehmen, genau diese Entscheidung nach der Aufnahme treffen? Ja, ich weiß, dass es einige Fototechniker geben wird, die wirklich so aktiv sein wollen, aber können wir akzeptieren, dass es sich um einen pathologischen Zustand handelt und dass Profis, die sich für die Bearbeitungszeit interessieren, und die große Mehrheit der Verbraucher da sind nicht so?

Sie benötigen also einen neuen Sensor, eine erheblich kompliziertere Elektronik rund um den Sensor, eine riesige Bilddatei für projizierte Rohdaten (was größere Karten und längere Schreibzeiten / langsamere Bildraten erfordert), um Daten zu sammeln, die am häufigsten weggeworfen werden von der Zeit, so dass Sie gelegentlich einmalige HDR-Bilder aufnehmen können, die viel menschliches Eingreifen in der Post erfordern (oder einen großen Sprung in MV / AI). Sie könnten wahrscheinlich ein paar davon verkaufen, aber ich würde erwarten, dass der Markt dem Mittelformatmarkt sehr viel ähnlicher ist als dem bestehenden 35-mm / APS-C-Markt. Das heißt, Sie würden an eine ausgewählte Gruppe von hochhackigen Fotografen verkaufen, die entweder aus beruflichen Gründen oder zur Erfüllung ihrer künstlerischen Vision die Fähigkeiten tatsächlich benötigen, und an einige, die nur einen Kick aus der Nachbearbeitung ziehen, um zu zahlen die Technologiesteuer.


quelle
1
Dies ist eine großartige Analyse (und ich stimme sie als solche ab). Aber am Ende finde ich die Schlussfolgerungen nicht überzeugend. Schließlich wäre es nicht schwer, eine "dumme" Matrix von Sinnen zu erzeugen, von denen einige beispielsweise durch einen ND-Filter mit sechs Blenden maskiert werden. (Verwenden Sie dazu beispielsweise eines der Gs im Bayer-Filter.) Es wäre keine wesentliche Änderung der Elektronik erforderlich. nichts an den Kameras, Objektiven usw. würde sich ändern; Gegen einen geringen Empfindlichkeitsverlust erhalten Sie jedoch die Möglichkeit, (grobe) Abstufungen innerhalb ausgeblasener Pixel zu unterscheiden. Das entspricht in etwa dem, was das OP verlangt.
Whuber
2
Ein einfacherer Ansatz existiert bereits im EXR-Sensor von FUji. Es hat unterschiedlich große Sinne; Ein kleiner Sensor und ein großer Sensor sind an jeder Quellpixelstelle auf dem Sensor gepaart. Dies kann zwar einen größeren Erfassungsbereich bieten, die Möglichkeiten sind jedoch begrenzt. Sie können die Glanzlichter auch ausblasen, wenn Sie alle Schatten erhalten möchten. (Und Fujis aktuelle Implementierung verwendet zu viele Pixel auf einem zu kleinen Sensor.) Nehmen Sie an, dass eine perfekte Implementierung mit mehreren Sensorgrößen vorliegt, bei der das Verarbeitungsproblem weiterhin besteht und nicht die Erfassung das eigentliche Problem ist.
Danke für den EXR Hinweis. Es zeigt, dass mein Vorschlag nicht nur plausibel, sondern real ist. Hat die HDR-Software das Verarbeitungsproblem nicht behoben? Wenn Sie es geschafft haben, einen weiten Dynamikbereich mit einem integrierten Sensor zu erfassen, haben Sie praktisch bereits einen perfekt registrierten HDR-Stapel. Die Einschränkungen dieser Technologie sind natürlich die von HDR.
Whuber
Auch hier liefert die direkte Verarbeitung ein schlechtes Bild, wenn die Quelle HDR ist. Die Einschränkung liegt nicht in der Aufnahme, sondern in der Verarbeitung. Wie viele Bilder mit Heiligenschein müssen Sie sehen, bevor Sie zu dem Schluss kommen, dass die HDR-Verarbeitung nicht einfach ist? Wohlmeinende Leute vermasseln es königlich und wissen, was das Bild "sagen" soll. Dann gibt es auch noch Probleme mit der Speicher- und Schreibgeschwindigkeit, und es gibt einen weiteren Nutzungskompromiss. Eine Kamera kann für alle Menschen alles sein, aber zu welchem ​​Preis und zu welchem ​​Preis in Bezug auf Ergonomie? 14-Bit-Erfassung und DR-Komprimierung sind jetzt verfügbar. 16-Bit wird nicht weit dahinter sein.
1
... und beide bekommen noch geblasene Highlights. Sie müssen wesentlich weiter ausbauen, um das Problem insgesamt zu vermeiden, und irgendwann bricht die Praktikabilität ein, zumindest auf der Ebene des Massenmarkts. Studio-Shooter brauchen das nicht. Die meisten Verbraucher brauchen es nicht. Ich mache meistens Umwelt Porträts, und ich kann nicht glauben , der zu oft ich es brauchte (Überbelichtung hat gemacht viele meiner Bilder). Der Overhead würde sich für die meisten Menschen einfach nicht lohnen, sodass ein teures Nischenprodukt entsteht.
3

Es gibt eine Sache, die nur wenige erwähnen und die besagt, dass eine Szene nicht gleich aussehen würde, wenn verschiedene Bereiche anders belichtet würden als andere. Eine Szene sieht so aus, weil es Variationen gibt. Ja, es könnte eine Möglichkeit sein, Glanzlichter zu speichern und Schatten zu verstärken, aber letztendlich möchten Sie wirklich einen größeren Dynamikbereich, der den Dynamikbereich in der Szene mit einer Belichtungseinstellung erfassen kann.

Unsere Augen sind großartig darin, uns einen weitaus größeren Dynamikbereich zu bieten als die derzeitige Consumer-Kameratechnik. Ich kann mich schnell umsehen und genaue Details in schattigen Bereichen und hellen sonnenbeschienenen Bereichen gleichzeitig wahrnehmen.

Eine Möglichkeit für Kamerahersteller, dieses Problem zu umgehen, besteht darin, Pixel mit hoher und niedriger Empfindlichkeit in einem Sensor zu verwenden und dann das Ergebnis pro Pixel zu kombinieren. Die neueren digitalen Kinokameras von RED verfügen über eine Matrix aus normalen und niedrigempfindlichen Sensorpixeln, die als HDRx bezeichnet werden. Die kleinen Sensorpixel mit niedriger Empfindlichkeit werden zu den Glanzlichtern der hellen Pixel kombiniert, um den Dynamikbereich zu vergrößern.

Nick Bedford
quelle
Sie haben Recht, es würde zu einem milden Foto führen, aber es müsste natürlich einige Einschränkungen haben. Ich glaube, dass es zu viel wäre, die Kamera entscheiden zu lassen, welche Bereiche heller und dunkler sein sollten. Ich habe nicht richtig gedacht ...
3

Erstens ist der Dynamikbereich des menschlichen Auges nicht so groß. Es scheint nur besser zu sein als unsere aktuellen High-End-Kameras, weil unser Gehirn ständig "Schnappschüsse" zusammenführt, die mit unterschiedlichen Belichtungseinstellungen aufgenommen wurden. Unsere Augen können nicht gleichzeitig extrem helle und extrem dunkle Objekte registrieren (obwohl das Gehirn dies kann). Ein wahres Wunder der Bildverarbeitung, aber nur mittelmäßige Optik / Abbildungsvorrichtung.

Es gibt verschiedene Vorschläge / Prototypen, die zeigen, wie der Dynamikbereich von Bildsensoren erheblich verbessert werden könnte:

  • Modulo Kamera von MIT

    Jede Fotodiode setzt ihren Zustand bei Erreichen der maximalen Ladung zurück und merkt sich, wie oft dies passiert ist

  • Quanta Image Sensor von Eric Fossum

    Verwendet viel kleinere und schnellere Pixel mit Photonenzählung anstelle von "analogen" Ladungsbehältern und A / D-Wandlern

szulat
quelle
2

Ihnen fehlen hier einige Grundlagen der Physik. Das Hauptproblem ist, dass reale Szenen große Kontrastverhältnisse haben. Unsere Augen haben sich dahingehend weiterentwickelt, dass sie Lichtniveaus logarithmisch anstatt linear wahrnehmen. Leider misst die aktuelle Sensortechnologie das Licht von Natur aus linear. Genauer gesagt ist das Rauschen auf einer linearen Lichtskala fixiert.

Bei der gegenwärtigen Technologie ist die maximale Kontrastgrenze im Wesentlichen eine Funktion des Rauschpegels. Als Argument verwenden wir eine Lichtskala von 0-1000, dh ein Sensor kann Ihnen den Lichtpegel von 0 bis 1000 anzeigen. Welches ist das höchste Verhältnis, das er messen kann? Das hängt vom Geräuschpegel ab. Der Rauschpegel ist im Grunde das, was Sie anstelle von echtem Schwarz erhalten, was in diesem Beispiel 0 wäre. Wenn der Rauschpegel ungefähr 2 ist, erhalten Sie ein Helligkeitsverhältnis von 1000: 2 = 500: 1. Solange die Szene das nicht überschreitet (fast alle würden es aber, in Wirklichkeit ist 500: 1 nicht so viel), können Sie jede logarithmische Zuordnung vornehmen, die Sie später wünschen.

Angesichts der Tatsache, dass die Stromsensoren von Natur aus linear sind, besteht die aktuelle Strategie darin, das Signal-Rausch-Verhältnis zu erhöhen und genügend Bits bereitzustellen, so dass das Quantisierungsrauschen unter dem inhärenten Zufallsrauschen liegt. Je geräuschärmer der Sensor ist, desto größer ist der Dynamikumfang, den Sie aufnehmen können, ohne die Lichter zu beschneiden oder die Schatten zu verwischen.

Es gibt eine völlig andere Sensortechnologie, die das Protokoll der Helligkeit inhärent misst. Manchmal werden diese als "CMOS" -Sensoren bezeichnet, da sie CMOS-dynamischen RAMs mit abgenommenem Deckel sehr ähnlich sind (ich vereinfache das, aber der erste Test im Labor wurde tatsächlich auf diese Weise durchgeführt). Sie erhalten eine Spannung proportional zum Logarithmus des Lichts, aber diese haben derzeit viel geringere Signal-Rausch-Verhältnisse. Mitsubishi war der erste, der diese Sensoren auf den Markt brachte, aber sie sind noch lange nicht gut genug für High-End-Kameras.

Es wird zweifellos Fortschritte an mehreren Fronten geben, und ich bin sicher, dass wir in den kommenden Jahren stetige Fortschritte sehen werden. Es gibt jedoch gute Gründe, warum die Dinge so sind, wie sie jetzt sind, nicht nur, weil sich niemand etwas Besseres vorstellen kann. Wenn jemand eine Technologie hätte, die einen weiten Dynamikbereich genau und zu einem Preis messen könnte, für den die Leute bereit sind zu zahlen, wären sie reich.

Olin Lathrop
quelle
1

Ich glaube, dass es einfach zu kompliziert ist.

Grundsätzlich gibt es zwei mögliche Ansätze; Entweder kann jeder Photosensor die Zeit verfolgen und sich selbst ausschalten, oder die CPU kann die Daten von den Photosensoren verfolgen und sie ausschalten.

Für den ersten Ansatz würde dies bedeuten, dass jeder Fotosensor ein Taktsignal und einen Zähler benötigt, damit er verfolgen kann, wie lange es gedauert hat, bis er sich selbst abgeschaltet hat. Das sind viel mehr Schaltkreise, die auf den Chip passen, und viel mehr Strom, um ihn zu betreiben, was das Signalrauschen erhöht. Wahrscheinlich so sehr, dass der vergrößerte Dynamikbereich sinnlos wäre.

Für den zweiten Ansatz müsste die CPU etwa einmal pro 1/10000-Sekunde alle Daten vom Sensor lesen. Das ist ungefähr 1000-mal schneller als die derzeitige Technologie, das ist also Jahrzehnte in der Zukunft, wenn überhaupt möglich.

Es gibt auch andere Komplikationen mit einer solchen Lösung, so dass jedes Pixel eine andere Belichtungszeit erhalten würde. Sie würden ziemlich seltsame Artefakte erhalten, wenn Sie alles fotografieren, was sich bewegt.

Guffa
quelle
1
Ich bin nicht so überzeugt, dass die "selektive Bewegungsunschärfe" ein so großes Problem darstellen würde. Bei der Aufnahme eines sich bewegenden Motivs sind die Pixel, die am längsten belichtet werden, diejenigen, die die ganze Zeit im Dunkeln bleiben. Diese befinden sich meist in gleichmäßig dunklen Bereichen, in denen einige Unschärfen nicht sehr auffallen. Pixel an den Rändern zwischen dunklen und hellen Bereichen werden in dem Fall, in dem sich das Motiv bewegt, stärker belichtet und werden schneller ausgeschaltet, was zu weniger Unschärfe führt.
Jan Hlavacek
0

DSLRs sind zwar digital, Objektive jedoch nicht. Alle Zellsensoren haben dieselbe Blende, egal wie intelligent der DSLR-Körper ist, da die Blende am Objektiv eingestellt ist. Daher denke ich, dass die Veränderung der Apertur pro Sensorzelle zumindest mit der aktuellen Linsentechnologie nicht möglich ist.

Was die Verschlusszeit betrifft, wird diese von der Kamera gesteuert. Wenn Sie sich jedoch eine Kamera vorstellen, bei der die Verschlusszeit an verschiedenen Stellen des Bildes variiert werden kann, um die Über- / Unterbelichtung zu steuern, kommt es zu ungleichmäßigen Bewegungsunschärfen. Die dunkleren Bereiche der Szene müssen länger belichtet werden und sind unschärfer als die helleren Bereiche. Ich denke, dass eine Lösung, die die Verschlusszeit ändert, aus diesem Grund nicht funktioniert.

Das einzige, was noch übrig ist, ist ISO. Das Variieren der ISO würde unterschiedliche Rauschpegel in verschiedenen Teilen des Bildes bedeuten. Das hört sich nicht schlecht an, wenn man bedenkt, dass man im Gegenzug einen viel größeren Dynamikumfang erhalten würde. Ich weiß nicht viel darüber, wie Sensoren funktionieren, aber ich würde mir vorstellen, dass die ISO-Einstellung in Sensoren als eine Art "Abstimmung" auf eine bestimmte Teilmenge der Helligkeitsskala implementiert wird. Es klingt für mich unerschwinglich, an jeder Sensorzelle eine unabhängige Messung und ISO-Kontrolle durchzuführen, aber vielleicht kann das Bild in Bereiche aufgeteilt und jeder Bereich separat gemessen werden. Dann muss die Kamera über einen Algorithmus verfügen, mit dem die unterschiedlich belichteten Bereiche gemischt werden können. Diese Art von "Überblendung" erfolgt, wenn ein Panorama erstellt wird, bei dem jedes Bild eine unterschiedliche Belichtung aufweist. Das klingt für mich machbar.

Eine weitere Option wäre eine Kamera mit mehreren Sensoren, die jeweils auf eine andere ISO konfiguriert sind. In der Videotechnik gibt es 3 CCD-Kameras, bei denen jeder CCD eine der Farben Rot, Grün und Blau aufzeichnet. Ich verstehe nicht, warum es für DSLRs kein ähnliches Konzept geben könnte, bei dem mehrere Sensoren das Bild auf verschiedenen ISO-Ebenen aufnehmen und so ein HDR-Bild erzeugen.

Miguel
quelle
0

Ich kann die Informationen derzeit nicht finden, erinnere mich aber an eine Beschreibung einer ähnlichen Technologie. Die Idee war ungefähr so: Das Einzige, worauf geachtet werden muss, sind überfüllte Highlights. Wenn Sie dies verhindern können, können dunkle Bereiche durch eine stärkere Belichtung des gesamten Bildes behoben werden. Um übermäßige Glanzlichter zu vermeiden, verfolgt jeder Sensor das akkumulierte Licht und schaltet den Sensor aus, wenn das Maximum erreicht ist. Das allein würde nichts verbessern, es würde die Sache sogar noch schlimmer machen, anstatt ein paar hellweiße Überblendlichter zu haben, würde man sogar noch etwas dunklere Lichter erhalten. Anstatt einfach nur abzuschalten, hat die Zelle auch Zellen in einer bestimmten Nachbarschaft abgeschaltet, wodurch in hellen Bereichen einige Details erhalten bleiben.

Wie ich schrieb, kann ich den Text jetzt nicht finden, aber irgendwie ist es in meinem Kopf mit HP Digitalkameras verbunden.

Jan Hlavacek
quelle
Wenn Sie es finden, verlinken Sie bitte auf den Artikel. Eine interessante Idee.