Ich trainiere ein neuronales Netzwerk, um eine Menge von Objekten in n-Klassen zu klassifizieren. Jedes Objekt kann gleichzeitig mehreren Klassen angehören (Multi-Class, Multi-Label). Ich habe gelesen, dass bei Problemen mit mehreren Klassen generell empfohlen wird, anstelle von mse Softmax und...
In meinen Augen ist die KL-Abweichung von der Probenverteilung zur wahren Verteilung einfach der Unterschied zwischen Kreuzentropie und Entropie. Warum verwenden wir die Kreuzentropie als Kostenfunktion in vielen maschinellen Lernmodellen, verwenden aber die Kullback-Leibler-Divergenz in t-sne?...
Zunächst wurde mir klar, dass ich, wenn ich binäre Vorhersagen durchführen muss, mindestens zwei Klassen durch Ausführen einer One-Hot-Codierung erstellen muss. Ist das richtig? Gilt die binäre Kreuzentropie jedoch nur für Vorhersagen mit nur einer Klasse? Wenn ich einen kategorialen...
In 5.5, Deep Learning (von Ian Goodfellow, Yoshua Bengio und Aaron Courville) heißt es: Jeder Verlust, der aus einer negativen logarithmischen Wahrscheinlichkeit besteht, ist eine Kreuzentropie zwischen der empirischen Verteilung, die durch den Trainingssatz definiert ist, und der...
Wie entscheiden Sie sich beim Trainieren von neuronalen Netzen mit Pixelsegmentierung, wie z. B. vollständig faltungsorientierten Netzen, für die Verwendung der Funktion für den entropieübergreifenden Verlust im Vergleich zur Funktion für den Verlust des Würfelkoeffizienten? Mir ist klar, dass dies...
Sowohl die Kreuzentropie als auch die KL-Divergenz sind Werkzeuge zur Messung des Abstands zwischen zwei Wahrscheinlichkeitsverteilungen. Was ist der Unterschied? K L ( P | Q ) = ∑ x P ( x ) log P ( x )H.( P., Q ) = - ∑xP.( x ) logQ ( x )H(P,Q)=−∑xP(x)logQ(x) H(P,Q) = -\sum_x P(x)\log Q(x) Darüber...
Ich experimentiere ein bisschen mit Autoencodern und habe mit Tensorflow ein Modell erstellt, das versucht, den MNIST-Datensatz zu rekonstruieren. Mein Netzwerk ist sehr einfach: X, e1, e2, d1, Y, wobei e1 und e2 Codierschichten sind, d2 und Y Decodierschichten sind (und Y die rekonstruierte...
Sind die Cross-Entropie-Kosten im Kontext der Regression sinnvoll (im Gegensatz zur Klassifizierung)? Wenn ja, könnten Sie über TensorFlow ein Spielzeugbeispiel geben? Wenn nicht, warum nicht? Ich habe über Cross-Entropy in Neuronalen Netzen und Deep Learning von Michael Nielsen gelesen und es...
Ich habe mit dem Neuralnetworksanddeeplearning dot com Tutorial angefangen, etwas über neuronale Netze zu lernen. Insbesondere im 3. Kapitel gibt es einen Abschnitt über die Kreuzentropiefunktion und definiert den Kreuzentropieverlust als: C.= - 1n∑x∑j( yjlneinL.j+ ( 1 -yj)ln( 1 -aL.j) )C.=-...
Ich verstehe, dass bei einer Reihe von unabhängigen Beobachtungen der Maximum Likelihood Estimator (oder äquivalent der MAP mit flachem / einheitlichem Prior), der die Parameter \ mathbf {θ} identifiziert , die die Modellverteilung p_ {model} \ erzeugen links (\, \ cdot \ ,; \ mathbf {θ} \...
Für zwei diskrete Verteilungen und ist die Kreuzentropie definiert alspppqqq H(p,q)=−∑xp(x)logq(x).H(p,q)=−∑xp(x)logq(x).H(p,q)=-\sum_x p(x)\log q(x). Ich frage mich, warum dies ein intuitives Maß für den Abstand zwischen zwei Wahrscheinlichkeitsverteilungen wäre. Ich sehe, dass die Entropie von ,...
Ich habe versucht, ein Programm zum Trainieren neuronaler Netze auf meinem Computer zu erstellen. Für das betreffende Netzwerk habe ich mich für die Funktion Cross Entropy Error entschieden: E=−∑jtjlnojE=−∑jtjlnojE = -\sum_jt_j\ln o_j Wobei die für das Neuron ist und die Ausgabe dieses Neurons...
Es gibt eine Aussage, dass die Maximierung der Wahrscheinlichkeit gleichbedeutend mit der Minimierung der Kreuzentropie ist. Gibt es Beweise für diese
Ich habe hier begonnen, die TensorFlow-Tutorials durchzugehen , und ich habe eine kleine Frage zu den Kreuzentropieberechnungen. Die meisten Orte, an denen ich eine Kreuzentropie gesehen habe, die mit dem Log der Basis 2 berechnet wurde, aber das tf.log ist die Basis e. Unter welchen Bedingungen...