Als «entropy» getaggte Fragen

Shannons Entropie ist das Negativ der Summe der Wahrscheinlichkeiten jedes Ergebnisses multipliziert mit dem Logarithmus der Wahrscheinlichkeiten für jedes Ergebnis. Welchen Zweck erfüllt der Logarithmus in dieser Gleichung? Eine intuitive oder visuelle Antwort (im Gegensatz zu einer zutiefst...

Ich trainiere ein neuronales Netzwerk, um eine Menge von Objekten in n-Klassen zu klassifizieren. Jedes Objekt kann gleichzeitig mehreren Klassen angehören (Multi-Class, Multi-Label). Ich habe gelesen, dass bei Problemen mit mehreren Klassen generell empfohlen wird, anstelle von mse Softmax und...

Ich möchte die Entropie / Informationsdichte / Musterähnlichkeit einer zweidimensionalen binären Matrix messen. Lassen Sie mich zur Verdeutlichung einige Bilder zeigen: Diese Anzeige sollte eine ziemlich hohe Entropie haben: EIN) Dies sollte eine mittlere Entropie haben: B) Diese Bilder sollten...

In meinen Augen ist die KL-Abweichung von der Probenverteilung zur wahren Verteilung einfach der Unterschied zwischen Kreuzentropie und Entropie. Warum verwenden wir die Kreuzentropie als Kostenfunktion in vielen maschinellen Lernmodellen, verwenden aber die Kullback-Leibler-Divergenz in t-sne?...

Zunächst wurde mir klar, dass ich, wenn ich binäre Vorhersagen durchführen muss, mindestens zwei Klassen durch Ausführen einer One-Hot-Codierung erstellen muss. Ist das richtig? Gilt die binäre Kreuzentropie jedoch nur für Vorhersagen mit nur einer Klasse? Wenn ich einen kategorialen...

Ich habe hier einige Fragen darüber gesehen, was es in Laienbegriffen bedeutet, aber diese sind zu Laien für meinen Zweck hier. Ich versuche mathematisch zu verstehen, was der AIC-Score bedeutet. Gleichzeitig möchte ich keinen strengen Beweis, der mich die wichtigeren Punkte nicht erkennen lässt....

Ich weiß, dass Entropie das Maß für die Zufälligkeit eines Prozesses / einer Variablen ist und wie folgt definiert werden kann. für eine Zufallsvariable Menge : - . In dem Buch über Entropie und Informationstheorie von MacKay gibt er diese Aussage in Kapitel 2 wiederX∈X∈X...

Ich lese über Entropie und kann mir nur schwer vorstellen, was es im kontinuierlichen Fall bedeutet. Die Wiki-Seite besagt Folgendes: Die Wahrscheinlichkeitsverteilung der Ereignisse bildet zusammen mit der Informationsmenge jedes Ereignisses eine Zufallsvariable, deren Erwartungswert die...

In dieser Arbeit argumentiert der talentierte Forscher Cosma Shalizi, dass man, um eine subjektive Bayes'sche Sichtweise vollständig zu akzeptieren, auch ein unphysisches Ergebnis akzeptieren muss, dass der Zeitpfeil (gegeben durch den Fluss der Entropie) tatsächlich rückwärts gehen sollte . Dies...

In 5.5, Deep Learning (von Ian Goodfellow, Yoshua Bengio und Aaron Courville) heißt es: Jeder Verlust, der aus einer negativen logarithmischen Wahrscheinlichkeit besteht, ist eine Kreuzentropie zwischen der empirischen Verteilung, die durch den Trainingssatz definiert ist, und der...

Wie entscheiden Sie sich beim Trainieren von neuronalen Netzen mit Pixelsegmentierung, wie z. B. vollständig faltungsorientierten Netzen, für die Verwendung der Funktion für den entropieübergreifenden Verlust im Vergleich zur Funktion für den Verlust des Würfelkoeffizienten? Mir ist klar, dass dies...

Sowohl die Kreuzentropie als auch die KL-Divergenz sind Werkzeuge zur Messung des Abstands zwischen zwei Wahrscheinlichkeitsverteilungen. Was ist der Unterschied? K L ( P | Q ) = ∑ x P ( x ) log P ( x )H.( P., Q ) = - ∑xP.( x ) logQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) Darüber...

Ich habe das Prinzip der maximalen Entropie verwendet, um die Verwendung mehrerer Verteilungen in verschiedenen Umgebungen zu rechtfertigen. Ich muss jedoch noch eine statistische, im Gegensatz zur informationstheoretischen Interpretation der maximalen Entropie formulieren können. Mit anderen...

Nach langem Durchforsten von Cross Validated fühle ich mich immer noch nicht näher daran, die KL-Divergenz außerhalb des Bereichs der Informationstheorie zu verstehen. Es ist ziemlich seltsam, wenn jemand mit einem mathematischen Hintergrund die Erklärung der Informationstheorie viel leichter...

Was ist die informations- / physikalisch-theoretisch korrekteste Methode, um die Entropie eines Bildes zu berechnen? Die Recheneffizienz ist mir momentan egal - ich möchte, dass sie theoretisch so korrekt wie möglich ist. Beginnen wir mit einem Graustufenbild. Eine intuitive Vorgehensweise ist das...

Ich bin in keiner Weise Statistiker (ich hatte einen Kurs in mathematischer Statistik, aber nichts anderes als das), und vor kurzem, als ich Informationstheorie und statistische Mechanik studierte, traf ich dieses Ding, das "Unsicherheitsmaß" / "Entropie" genannt wurde. Ich habe die...

Ich habe Log-Normalverteilungen als frühere Verteilungen für Skalenparameter verwendet (für Normalverteilungen, t-Verteilungen usw.), wenn ich eine ungefähre Vorstellung davon habe, wie die Skala aussehen soll, mich aber irren möchte, wenn ich sage, dass ich es nicht weiß viel darüber. Ich benutze...

Bei der Definition gemeinsam typischer Mengen (in "Elemente der Informationstheorie", Kap. 7.6, S. 195) verwenden wir np(xn)=Π n i = 1 p(xi)- 1nLogp ( xn)-1nLog⁡p(xn)-\frac{1}{n} \log{p(x^n)} als empirische Entropie einer Folge mit . Ich bin noch nie auf diese Terminologie gestoßen. Es ist...

Ich experimentiere ein bisschen mit Autoencodern und habe mit Tensorflow ein Modell erstellt, das versucht, den MNIST-Datensatz zu rekonstruieren. Mein Netzwerk ist sehr einfach: X, e1, e2, d1, Y, wobei e1 und e2 Codierschichten sind, d2 und Y Decodierschichten sind (und Y die rekonstruierte...

Ich suche nach einem Buch oder einer Online-Ressource, die verschiedene Arten von Entropie wie Sample Entropy und Shannon Entropy sowie deren Vor- und Nachteile erklärt. Kann mich jemand in die richtige Richtung