Wie bedeutsam ist der Zusammenhang zwischen MLE und Kreuzentropie beim tiefen Lernen?

Ich verstehe, dass bei einer Reihe von unabhängigen Beobachtungen der Maximum Likelihood Estimator (oder äquivalent der MAP mit flachem / einheitlichem Prior), der die Parameter \ mathbf {θ} identifiziert , die die Modellverteilung p_ {model} \ erzeugen links (\, \ cdot \ ,; \ mathbf {θ} \ rechts) , die diesen Beobachtungen am besten entspricht, ist$m$$\mathbb{O}=\{\mathbf{o}^{(1)}, . . . , \mathbf{o}^{(m)}\}$$\mathbf{θ}$$p_{model}\left(\,\cdot\, ; \mathbf{θ}\right)$

$$\mathbf{θ}_{ML}(\mathbb{O})= p_{model}\left(\mathbb{O}; \mathbf{θ}\right) = \underset{\mathbf{θ}}{\arg\max}‎‎\prod_{i=1}^{m} p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right)$$

oder bequemer

$$\mathbf{θ}_{ML}(\mathbb{O})= \underset{\mathbf{θ}}{\arg\min}\sum_{i=1}^{m} -\log p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right)$$

und sehen Sie die Rolle, die $\mathbf{θ}_{ML}$ bei der Definition einer Verlustfunktion für tiefe neuronale Netze mit mehreren Klassen spielen kann, in der $\mathbf{θ}$ den trainierbaren Parametern des Netzwerks entspricht (z. B. $\mathbf{θ} = \{\mathbf{W}, \mathbf{b}\} )$ und die Beobachtungen sind die Paare von Eingabeaktivierungen $\mathbf{x}$ und die entsprechenden korrekten Klassenbezeichnungen $y \in [1, k]$ , $\mathbf{o}^{(i)}$ = { $\mathbf{x}^{(i)}, y^{(i)}$ }, indem Sie nehmen

$$p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) \equiv p_{model}\left(y^{(i)} | \mathbf{x}^{(i)}; \mathbf{θ}\right)$$

Was ich nicht verstehe, ist, wie dies mit der sogenannten "Kreuzentropie" der (vektorisierten) korrekten Ausgabe und den entsprechenden Ausgabeaktivierungen des Netzwerks , die in der Praxis verwendet wird , wenn die Fehlermess / Verlust während des Trainings . Es gibt mehrere verwandte Probleme:$\mathbf{y}^{(i)}$$\mathbf{a}(\mathbf{x}^{(i)}; \mathbf{θ})$

$$H(\mathbf{o}^{(i)}; \mathbf{θ}) = -\mathbf{y}^{(i)}\cdot \mathbf{log}\,\mathbf{a}(\mathbf{x}^{(i)}; \mathbf{θ})‎$$

Aktivierungen "als Wahrscheinlichkeiten"

Einer der Schritte zum Herstellen der Beziehung zwischen MLE und Kreuzentropie besteht darin, die Ausgabeaktivierungen "als ob" Wahrscheinlichkeiten zu verwenden. Aber mir ist nicht klar, dass sie es sind oder zumindest, dass sie es sind.$all$

Bei der Berechnung des Trainingsfehlers - insbesondere bei der Bezeichnung "Kreuzentropieverlust" - wird davon ausgegangen, dass (nach Normalisierung der Aktivierungen auf 1 summiert)

$$p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) \equiv a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ})\tag{1}\label{1}‎‎$$

oder

$$\log p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) = \log a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ})‎‎$$

damit wir schreiben können

$$-\log p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) = -\mathbf{y}^{(i)}\cdot \mathbf{log}\,\mathbf{a}(\mathbf{x}^{(i)}; \mathbf{θ})‎\tag{3}\label{3}$$

und somit

$$\mathbf{θ}_{ML}(\mathbb{O})=\underset{\mathbf{θ}}{\arg\min}\sum_{i=1}^{m} H(\mathbf{o}^{(i)}; \mathbf{θ})$$

Aber während dies sicherlich einer Wahrscheinlichkeit macht (soweit etwas vorhanden ist), ist es dies legt keine Einschränkungen für die anderen Aktivierungen fest.$a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML})$

Kann man in diesem Fall wirklich sagen, dass PMFs sind? Gibt es irgendetwas, das die nicht tatsächlich Wahrscheinlichkeiten macht (und sie lediglich "mag")? )?$\mathbf{a}_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML})$$a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML})$

Beschränkung auf Kategorisierung

Der obige entscheidende Schritt bei der Gleichsetzung von MLE mit Kreuzentropie beruht vollständig auf der "One-Hot" -Struktur von , die ein (Single-Label-) Mehrklassen-Lernproblem charakterisiert. Jede andere Struktur für würde es unmöglich machen, von nach .$\mathbf{y}^{(i)}$$\mathbf{y}^{(i)}$$\eqref{1}$$\eqref{3}$

Ist die Gleichung von MLE und Kreuzentropieminimierung auf Fälle beschränkt, in denen "one-hot" ist? $\mathbf{y}^{(i)}$

Unterschiedliche Trainings- und Vorhersagewahrscheinlichkeiten

Während der Vorhersage ist dies fast immer der Fall

$$p_{model}\left(y^{(i)} | \mathbf{x}^{(i)}; \mathbf{θ}\right) \equiv P\left(\underset{j\in[1,k]}{\arg\max}\,a_j(\mathbf{x}^{(i)}; \mathbf{θ}) = y^{(i)}\right)\tag{2}\label{2}$$

Dies führt zu korrekten Vorhersagewahrscheinlichkeiten, die sich von den während des Trainings erlernten Wahrscheinlichkeiten unterscheiden, es sei denn, dies ist zuverlässig der Fall

$$a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML}) = P\left(\underset{j\in[1,k]}{\arg\max}\,a_j(\mathbf{x}^{(i)}; \mathbf{θ}_{ML}) = y^{(i)}\right)$$

Ist das jemals zuverlässig der Fall? Ist es wahrscheinlich zumindest annähernd wahr? Oder gibt es ein anderes Argument, das diese Gleichung des Wertes der gelernten Aktivierung an der Etikettenposition mit der Wahrscheinlichkeit rechtfertigt, dass der Maximalwert der gelernten Aktivierungen dort auftritt?

Entropie- und Informationstheorie

Selbst wenn angenommen wird, dass die oben genannten Bedenken berücksichtigt werden und die Aktivierungen gültige PMFs sind (oder sinnvoll als solche behandelt werden können), so dass die Rolle der Kreuzentropie bei der Berechnung von unproblematisch ist, ist dies nicht klar Ich, warum es hilfreich oder sinnvoll ist, über die Entropie von zu sprechen , da die Shanon-Entropie für eine bestimmte gilt Art der Codierung , die nicht zum Trainieren des Netzwerks verwendet wird.$\mathbf{θ}_{ML}$$\mathbf{a}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML})$

Welche Rolle spielt die informationstheoretische Entropie bei der Interpretation der Kostenfunktion, anstatt lediglich ein Werkzeug (in Form einer Kreuzentropie) zur Berechnung eines Werkzeugs (das MLE entspricht) bereitzustellen?

Neuronale Netze geben nicht unbedingt Wahrscheinlichkeiten als Ausgaben an, können jedoch dafür ausgelegt werden. Um als Wahrscheinlichkeiten interpretiert zu werden, muss eine Reihe von Werten nicht negativ sein und sich zu eins summieren. Das Entwerfen eines Netzwerks zur Ausgabe von Wahrscheinlichkeiten läuft normalerweise darauf hinaus, eine Ausgabeschicht auszuwählen, die diese Einschränkungen auferlegt. Beispielsweise ist bei einem Klassifizierungsproblem mit Klassen eine Softmax- Ausgabeschicht mit Einheiten eine häufige Wahl . Die Softmax-Funktion erzwingt, dass die Ausgänge nicht negativ sind und sich zu eins summieren. Die te Ausgabeeinheit gibt die Wahrscheinlichkeit an, dass die Klasse . Bei Problemen mit der binären Klassifizierung besteht eine weitere beliebte Option darin, eine einzelne Ausgabeeinheit mit Logistik zu verwenden$k$$k$$j$$j$Aktivierungsfunktion. Die Ausgabe der logistischen Funktion liegt zwischen null und eins und gibt die Wahrscheinlichkeit an, dass die Klasse 1 ist. Die Wahrscheinlichkeit, dass die Klasse 0 ist, ist implizit eins minus diesem Wert. Wenn das Netzwerk keine versteckten Schichten enthält, entsprechen diese beiden Beispiele der multinomialen logistischen Regression bzw. der logistischen Regression .

Die Kreuzentropie misst die Differenz zwischen zwei Wahrscheinlichkeitsverteilungen und . Wenn die Kreuzentropie als Verlustfunktion für diskriminative Klassifizierer verwendet wird, sind und Verteilungen über Klassenbeschriftungen bei gegebener Eingabe (dh einem bestimmten Datenpunkt). ist die 'wahre' Verteilung und ist die vom Modell vorhergesagte Verteilung. Bei typischen Klassifizierungsproblemen ist jede Eingabe im Datensatz einer Ganzzahlbezeichnung zugeordnet, die die wahre Klasse darstellt. In diesem Fall verwenden wir die empirische Verteilung für$H(p, q)$$p$$q$$p$$q$$p$$q$$p$. Dies weist der wahren Klasse eines Datenpunkts einfach die Wahrscheinlichkeit 1 und allen anderen Klassen die Wahrscheinlichkeit 0 zu. ist die Verteilung der vom Netzwerk vorhergesagten Klassenwahrscheinlichkeiten (z. B. wie oben beschrieben).$q$

Angenommen, die Daten sind iid, ist die empirische Verteilung und ist die vorhergesagte Verteilung (für den ten Datenpunkt). Dann ist das Minimieren des Kreuzentropieverlusts (dh gemittelt über Datenpunkte) gleichbedeutend mit dem Maximieren der Wahrscheinlichkeit der Daten. Der Beweis ist relativ einfach. Die Grundidee besteht darin zu zeigen, dass der Kreuzentropieverlust proportional zu einer Summe der negativen logarithmischen vorhergesagten Wahrscheinlichkeiten der Datenpunkte ist. Dies fällt aufgrund der Form der empirischen Verteilung ordentlich heraus.$p_i$$q_i$$i$$H(p_i, q_i)$

Der Kreuzentropieverlust kann auch allgemeiner angewendet werden. Zum Beispiel erhalten wir bei Problemen mit der "weichen Klassifizierung" Verteilungen über Klassenbezeichnungen anstatt über harte Klassenbezeichnungen (daher verwenden wir nicht die empirische Verteilung). Ich beschreibe , wie Kreuzentropie Verlust in diesem Fall verwenden hier .

Um einige andere Besonderheiten in Ihrer Frage anzusprechen:

Unterschiedliche Trainings- und Vorhersagewahrscheinlichkeiten

Es sieht so aus, als würden Sie die Ausgabeeinheit mit maximaler Aktivierung finden und diese mit der Klassenbezeichnung vergleichen. Dies wird nicht für das Training mit dem Kreuzentropieverlust durchgeführt. Stattdessen werden die vom Modell ausgegebenen Wahrscheinlichkeiten mit den "wahren" Wahrscheinlichkeiten verglichen (typischerweise als empirische Verteilung angenommen).

Die Shanon-Entropie gilt für eine bestimmte Art der Codierung, die nicht zum Trainieren des Netzwerks verwendet wird.

Die Kreuzentropie kann als die Anzahl der Bits pro Nachricht interpretiert werden, die (im Durchschnitt) benötigt werden, um Ereignisse zu codieren, die aus der wahren Verteilung , wenn ein optimaler Code für die Verteilung . Die Kreuzentropie nimmt einen Mindestwert von (die Shannon-Entropie von ) an, wenn . Je besser die Übereinstimmung zwischen und$H(p,q)$$p$$q$$H(p)$$p$$q = p$$q$$p$Je kürzer die Nachrichtenlänge. Das Trainieren eines Modells zur Minimierung der Kreuzentropie kann als Training angesehen werden, um die wahre Verteilung besser zu approximieren. Bei überwachten Lernproblemen, wie wir sie besprochen haben, gibt das Modell eine Wahrscheinlichkeitsverteilung über mögliche Ausgaben unter Berücksichtigung der Eingabe an. Das explizite Finden optimaler Codes für die Verteilung ist nicht Teil des Prozesses.

Ich werde aus einer etwas allgemeineren Perspektive antworten, in Bezug auf die Art und Weise, wie, wann und warum wir NN-Ausgaben als Wahrscheinlichkeitsverteilungen betrachten können.

In dem Sinne , dass die softmax die Ausgänge erzwingen bis 1 zu summieren und auch nicht negativ sein, wird der Ausgang des Netzes ist eine diskrete Wahrscheinlichkeitsverteilung über die Klassen, oder zumindest kann als solche interpretiert werden. Daher ist es durchaus sinnvoll, über Kreuzentropien und maximale Wahrscheinlichkeiten zu sprechen.

Ich denke jedoch, dass Sie sehen (und es ist richtig), dass die "Wahrscheinlichkeiten" der Ausgabe möglicherweise nichts mit der tatsächlichen Wahrscheinlichkeit der Korrektheit zu tun haben . Dies ist ein bekanntes Problem in ML, das als Kalibrierung bezeichnet wird . Wenn Ihr Klassifikator von Hunden und Katzen sagt , würden Sie dies erwarten, wenn Sie eine Reihe von Beispielen all das hatte , dann rund 30% der Eingaben wird falsch klassifiziert würde (da es nur 70% zuversichtlich war).$f_\theta$$D$$C$$f_\theta(x_i,C) = P(x_i = C|\theta) = 0.7$$S=\{x_j\}$ $P(x_j = C|\theta) = 0.7$

Es stellt sich jedoch heraus, dass moderne Trainingsmethoden dies überhaupt nicht erzwingen! Siehe Guo et al., Zur Kalibrierung moderner neuronaler Netze , um eine Diskussion darüber zu sehen.

Mit anderen Worten, die "Wahrscheinlichkeit" der Ausgabe von Softmax hat möglicherweise nichts mit dem tatsächlichen Modellvertrauen zu tun. Und das ist keine Überraschung: Wir wollen lediglich unsere Genauigkeit maximieren, und jedes Eingabebeispiel hat eine Wahrscheinlichkeit von 1, seine Zielklasse zu sein. Es gibt wenig Anreize für das Modell, dies richtig zu machen. Wenn es die Unsicherheit nicht abschätzen muss, warum sollte es dann? Kreuzentropie behebt dieses Problem nicht. in der Tat sagen Sie ihm, dass er jedes Mal zu einer Delta-Funktion gehen soll!

Viele neuere Arbeiten zu Bayes'schen neuronalen Netzen versuchen, dieses Problem zu beheben. Solche Modelle verwenden eine Verteilung über Parameter, wenn die Daten , die integriert werden können, um eine tatsächliche Wahrscheinlichkeitsverteilung . Dies trägt dazu bei, nützliche Unsicherheitsmessungen und eine bessere Kalibrierung zu gewährleisten. Es ist jedoch rechnerisch problematischer.$P(\theta|X) = P(X|\theta)P(\theta)/P(X)$$P(y_i|x_i,X)=\int P(y_i|\theta,x_i) P(\theta|X) \,d\theta$

Hoffentlich habe ich deine Frage nicht falsch verstanden!

Feed-Forward-Neuronale Netze approximieren die wahren Klassenwahrscheinlichkeiten, wenn sie richtig trainiert werden.

1991 haben Richard & Lippmann bewiesen, dass sich Feed-Forward-Neuronale Netze den Wahrscheinlichkeiten der hinteren Klasse nähern, wenn sie mit {0,1} Klassenindikator-Zielmustern trainiert werden [ Richard MD, & Lippmann RP (1991). Neuronale Netzwerkklassifikatoren schätzen die Bayes'schen a posteriori-Wahrscheinlichkeiten. Neural Computation, 3, 461–483. ]. In ihrer Beweislinie verwenden sie vorwärtsgerichtete neuronale Netze mit einer verborgenen Schicht.

Definieren Sie in der mathematischen Annotation von Duda & Hart [ Duda RO & Hart PE (1973) Musterklassifizierung und Szenenanalyse, Wiley ] die Merkmalsverteilungen, die als Eingabevektor für das Feed-Forward-Neuronale Netzwerk bereitgestellt werden, als , wobei beispielsweise der für eine Klassifizierungsaufgabe mit 4 Merkmalsvariablen gleich ist. Der Index gibt die möglichen Klassen .$P({\bf{\it x}}\,\mid\,\omega_i)$${\bf{\it x}}=(0.2,10.2,0,2)$$i$$n$$i \in \{1,\ldots,n\}$

Der Feed-Forward-Klassifikator für neuronale Netze lernt die hinteren Wahrscheinlichkeiten , wenn er durch Gradientenabstieg trainiert wird. Die gewünschten Ausgangsmuster Bedürfnisse beispielsweise seine , für ein Zwei-Klassen - Klassifikationsproblem. Das vorwärtsgerichtete neuronale Netzwerk hat einen Ausgangsknoten pro Klasse. Der Vektor zeigt an, dass der beobachtete Merkmalsvektor zur 2. Klasse gehört.${\hat P}(\omega_i\,\mid\,{\bf{\it x}})$${\bf {\it o}}=(0,1)$$(0,1)$

Die Log-Wahrscheinlichkeit ist im Kontext Ihrer Frage nicht direkt mit der Entropie verknüpft. Die Ähnlichkeit ist oberflächlich: Beide haben die Summen von Logarithmen wahrscheinlichkeitsähnlicher Größen.

Der Logarithmus in Log-Likelihood (MLE) erfolgt ausschließlich aus numerischen Berechnungsgründen. Das Produkt der Wahrscheinlichkeiten kann eine sehr kleine Zahl sein, insbesondere wenn Ihre Stichprobe groß ist. Dann reicht der Bereich der Wahrscheinlichkeiten von 1 bis zum verschwindend kleinen Wert eines Produkts. Wenn Sie das Protokoll erhalten, wird das Produkt zu einer Summe, und die Protokollfunktion komprimiert den Wertebereich auf eine kleinere, besser verwaltbare Domäne. Der Logarithmus ist eine monotone Funktion, daher ergibt das Maximum (min) der Log-Wahrscheinlichkeit die gleiche Antwort auf die Wahrscheinlichkeit selbst. Daher ist das Vorhandensein des Protokolls im MLE-Ausdruck im mathematischen Sinne nicht wichtig und lediglich eine Frage der Zweckmäßigkeit.

Das Vorhandensein einer Logarithmusfunktion in der Entropie ist wesentlich und hat seine Wurzeln in der statistischen Mechanik, einem Zweig der Physik. Es ist mit der Boltzmann- Verteilung verbunden, die in der Theorie der Gase verwendet wird. Sie können den Luftdruck beispielsweise in Abhängigkeit von der Höhe ableiten.