Als «kullback-leibler» getaggte Fragen

Ich muss die KL-Divergenz zwischen zwei Gaußschen bestimmen. Ich vergleiche meine Ergebnisse mit diesen , aber ich kann ihr Ergebnis nicht reproduzieren. Mein Ergebnis ist offensichtlich falsch, weil die KL für KL nicht 0 ist (p, p). Ich frage mich, wo ich einen Fehler mache und ob jemand ihn...

Ich habe über die Intuition hinter der KL-Divergenz gelernt, wie sehr sich eine Modellverteilungsfunktion von der theoretischen / wahren Verteilung der Daten unterscheidet. Die Quelle, die ich lese, sagt weiter, dass das intuitive Verständnis der Distanz zwischen diesen beiden Verteilungen...

Ich habe Probleme, die KL-Divergenzformel unter der Annahme von zwei multivariaten Normalverteilungen abzuleiten. Ich habe den univariaten Fall ziemlich leicht gemacht. Es ist jedoch eine Weile her, dass ich Mathe-Statistiken erstellt habe, und daher habe ich einige Probleme, diese auf den...

In meinen Augen ist die KL-Abweichung von der Probenverteilung zur wahren Verteilung einfach der Unterschied zwischen Kreuzentropie und Entropie. Warum verwenden wir die Kreuzentropie als Kostenfunktion in vielen maschinellen Lernmodellen, verwenden aber die Kullback-Leibler-Divergenz in t-sne?...

Ich kann feststellen, dass es viele formale Unterschiede zwischen den Abstandsmaßen Kullback-Leibler und Kolmogorov-Smirnov gibt. Beide werden jedoch verwendet, um den Abstand zwischen Verteilungen zu messen. Gibt es eine typische Situation, in der einer anstelle des anderen verwendet werden...

Ich suche eine intuitive Erklärung für die folgenden Fragen: Was ist in der Statistik und der Informationstheorie der Unterschied zwischen der Bhattacharyya-Distanz und der KL-Divergenz als Maß für den Unterschied zwischen zwei diskreten Wahrscheinlichkeitsverteilungen? Haben sie überhaupt keine...

Schau dir dieses Bild an: Wenn wir eine Stichprobe aus der Rotdichte ziehen, werden einige Werte voraussichtlich unter 0,25 liegen, während es unmöglich ist, eine solche Stichprobe aus der Blauverteilung zu erzeugen. Infolgedessen ist der Kullback-Leibler-Abstand von der roten zur blauen Dichte...

Gibt es Ähnlichkeits- oder Abstandsmaße zwischen zwei symmetrischen Kovarianzmatrizen (beide mit den gleichen Abmessungen)? Ich denke hier an Analoga zur KL-Divergenz von zwei Wahrscheinlichkeitsverteilungen oder dem euklidischen Abstand zwischen Vektoren, außer wenn sie auf Matrizen angewendet...

Was ist der praktische Unterschied zwischen der Wasserstein-Metrik und der Kullback-Leibler-Divergenz ? Die Wasserstein-Metrik wird auch als Erdbewegungsdistanz bezeichnet . Aus Wikipedia: Wasserstein-Metrik (oder Vaserstein-Metrik) ist eine Abstandsfunktion, die zwischen

Sowohl die Kreuzentropie als auch die KL-Divergenz sind Werkzeuge zur Messung des Abstands zwischen zwei Wahrscheinlichkeitsverteilungen. Was ist der Unterschied? K L ( P | Q ) = ∑ x P ( x ) log P ( x )H.( P., Q ) = - ∑xP.( x ) logQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) Darüber...

Nach langem Durchforsten von Cross Validated fühle ich mich immer noch nicht näher daran, die KL-Divergenz außerhalb des Bereichs der Informationstheorie zu verstehen. Es ist ziemlich seltsam, wenn jemand mit einem mathematischen Hintergrund die Erklärung der Informationstheorie viel leichter...

Ich studiere Klassifikations- und Regressionsbäume, und eine der Kennzahlen für den geteilten Standort ist der GINI-Score. Jetzt bin ich es gewohnt, den besten Split-Standort zu bestimmen, wenn das Protokoll des Wahrscheinlichkeitsverhältnisses der gleichen Daten zwischen zwei Verteilungen Null...

Kann jemand beweist die folgende Verbindung zwischen Fisher Informationen Metrik und der relativen Entropie (oder KL Divergenz) in eine rein mathematischen rigorosen Art und Weise? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel...

Betrachten wir die folgenden zwei Wahrscheinlichkeitsverteilungen P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Ich habe die Kullback-Leibler-Divergenz berechnet, die gleich ist. Ich möchte im Allgemeinen wissen, was diese Zahl mir zeigt....

Warum ist die KL-Divergenz nicht negativ? Aus informationstheoretischer Sicht verstehe ich das so intuitiv: Angenommen, es gibt zwei Ensembles AAA und BBB die aus der gleichen Menge von Elementen bestehen, die mit xxx . p(x)p(x)p(x) und q(x)q(x)q(x) sind verschiedene

Ich benutze KL Divergence als Maß für die Unähnlichkeit zwischen 2 p.m.f.p.m.f.p.m.f. PPP und QQQ . =-≤P(Xi)ln(Q(Xi))+≤P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right)

Ich werde KL-Divergenz in meinem Python-Code verwenden und habe dieses Tutorial erhalten . In diesem Tutorial ist die Implementierung der KL-Divergenz recht einfach. kl = (model * np.log(model/actual)).sum() Soweit ich weiß, sollte die Wahrscheinlichkeitsverteilung von modelund actual<= 1 sein....

Ich vergleiche zwei Verteilungen mit der KL-Divergenz, die mir eine nicht standardisierte Zahl zurückgibt, die nach dem, was ich über diese Kennzahl gelesen habe, die Informationsmenge ist, die erforderlich ist, um eine Hypothese in die andere umzuwandeln. Ich habe zwei Fragen: a) Gibt es eine...

Ich weiß, dass die KL-Divergenz nicht symmetrisch ist und nicht streng als Metrik betrachtet werden kann. Wenn ja, warum wird es verwendet, wenn JS Divergence die erforderlichen Eigenschaften für eine Metrik erfüllt? Gibt es Szenarien, in denen KL-Divergenz verwendet werden kann, nicht jedoch...

Ich bin kein Mathematiker. Ich habe im Internet nach KL Divergence gesucht. Was ich gelernt habe, ist, dass die KL-Divergenz den Informationsverlust misst, wenn wir die Verteilung eines Modells in Bezug auf die Eingabeverteilung approximieren. Ich habe diese zwischen zwei kontinuierlichen oder...