Gegenseitige Information als Wahrscheinlichkeit

Könnte die gegenseitige Information über die Gelenkentropie:

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

definiert werden als: "Die Wahrscheinlichkeit, eine Information von X nach Y zu übermitteln"?

Es tut mir leid, dass ich so naiv bin, aber ich habe noch nie Informationstheorie studiert, und ich versuche nur, einige Konzepte davon zu verstehen.

information-theory mutual-information luca maggi
quelle

Willkommen im Lebenslauf, luca maggi! Was für eine schöne erste Frage!

Alexis

Antworten:

Die von Ihnen beschriebene Maßnahme wird als Information Quality Ratio (IQR) bezeichnet (Wijaya, Sarno und Zulaika, 2017). IQR ist die gegenseitige Information $I(X,Y)$ geteilt durch "Gesamtunsicherheit" (gemeinsame Entropie) $H(X,Y)$ (Bildquelle: Wijaya, Sarno und Zulaika, 2017).

Wie von Wijaya, Sarno und Zulaika (2017) beschrieben,

der IQR-Bereich ist $[0,1]$ . Der größte Wert (IQR = 1) kann erreicht werden, wenn DWT ein Signal ohne Informationsverlust perfekt rekonstruieren kann. Andernfalls bedeutet der niedrigste Wert (IQR = 0), dass MWT nicht mit einem Originalsignal kompatibel ist. Mit anderen Worten, ein rekonstruiertes Signal mit einer bestimmten MWT kann keine wesentlichen Informationen enthalten und unterscheidet sich vollständig von den ursprünglichen Signaleigenschaften.

Sie können es als Wahrscheinlichkeit interpretieren, dass das Signal ohne Informationsverlust perfekt rekonstruiert wird . Beachten Sie, dass eine solche Interpretation eher der subjektivistischen Interpretation der Wahrscheinlichkeit als der traditionellen, frequentistischen Interpretation entspricht.

Es ist eine Wahrscheinlichkeit für ein binäres Ereignis (Rekonstruktion von Informationen vs. nicht), wobei IQR = 1 bedeutet, dass wir die rekonstruierten Informationen für vertrauenswürdig halten, und IQR = 0 das Gegenteil bedeutet. Es teilt alle Eigenschaften für Wahrscheinlichkeiten von binären Ereignissen. Außerdem, teilen Entropien eine Reihe anderer Eigenschaften mit Wahrscheinlichkeiten (z. B. Definition von bedingten Entropien, Unabhängigkeit usw.). Es sieht also nach einer Wahrscheinlichkeit aus und quakt wie es.

Wijaya, DR, Sarno, R. & Zulaika, E. (2017). Information Quality Ratio als neuartige Metrik für die Auswahl von Mutter-Wavelets. Chemometrics and Intelligent Laboratory Systems, 160, 59-71.

Tim
quelle

Wie wird die IQR-Funktion für

definiert , um die definierenden Eigenschaften des Wahrscheinlichkeitsmaßes zu überprüfen? Führen Sie

und

mit

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

wobei

die charakteristische Funktion ist?

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

Hans

Nun, meine Frage richtet sich an einen Teil Ihrer Antwort und nicht an eine eigenständige Frage. Schlagen Sie vor, dass ich eine neue Frage öffne und sie verlinke und auf Ihre Antwort verweise?

Hans

@Hans Was ich gesagt habe, ist, dass diese Maßnahme leicht zur Definition passt, korrigiere mich, wenn ich falsch liege. Axiome 1. und 2. sind offensichtlich. Für Axiom 3 ist

die Überlappung,

der Gesamtraum, so dass der Bruch leicht als Wahrscheinlichkeit angesehen werden kann.

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

Tim

Eine Wahrscheinlichkeit wird für einen Probenraum und sein Sigma-Feld

. Ich bin verwirrt, was diese für dieses Wahrscheinlichkeitsmaß IQR sind. Es gibt bereits einen Probenraum und sein Sigma-Feld für das für die Zufallsvariablen

und

definierte Wahrscheinlichkeitsmaß . Entspricht der Probenraum und das Feld des neuen Wahrscheinlichkeitsmaßes IQR denen des alten Wahrscheinlichkeitsmaßes für

und

? Wenn nicht, wie sind sie definiert? Oder sagen Sie, dass diese nicht definiert werden müssen? Wie vergleicht man es dann mit den Axiomen?

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

Hans

@Hans Ich habe ausdrücklich darauf hingewiesen, dass dies mit Axiomen übereinstimmt, aber es ist schwer zu sagen, mit welcher Wahrscheinlichkeit dies genau sein würde. Die von mir vorgeschlagene Interpretation besteht wahrscheinlich darin, das Signal zu rekonstruieren. Dies ist keine Wahrscheinlichkeitsverteilung von X oder Y. Ich denke, Sie könnten tiefer in die Interpretation und das Verständnis eintauchen. Die Frage war, ob dies als Wahrscheinlichkeit interpretiert werden konnte und die Antwort war formal ja.

Tim

Hier ist die Definition eines Wahrscheinlichkeitsraums. Verwenden wir dort die Notationen. IQR ist eine Funktion eines Tupels $(\Omega,\mathscr F,P,X,Y)$ (Die ersten drei Komponenten bilden den Wahrscheinlichkeitsraum, in dem die beiden Zufallsvariablen definiert sind). Ein Wahrscheinlichkeitsmaß muss eine festgelegte Funktion sein, die alle Bedingungen der in Tims Antwort aufgeführten Definition erfüllt. Man muss $\Theta:=(\Omega,\mathscr F,P,X,Y)$ als Teilmenge einer Menge $\tilde\Omega$ angeben . Darüber hinaus ist die Menge von $\Theta$ 's muss ein Feld von Teilmengen von $\tilde\Omega$ , und dieser $\text{IQR}(\Omega,\mathscr F,P,X,Y)$ muss alle drei Eigenschaften erfüllen, die in der Definition des in Tims Antwort aufgeführten Wahrscheinlichkeitsmaßes aufgeführt sind. Bis man ein solches Objekt konstruiert, ist es falsch zu sagen, dass IQR ein Wahrscheinlichkeitsmaß ist. Ich jedenfalls sehe die Nützlichkeit eines solch komplizierten Wahrscheinlichkeitsmaßes nicht (nicht die IQR-Funktion selbst, sondern als Wahrscheinlichkeitsmaß). IQR in dem in Tims Antwort zitierten Artikel wird nicht als Wahrscheinlichkeit, sondern als Metrik bezeichnet oder verwendet (Ersteres ist eine Art der letzteren, letzteres ist jedoch keine Art der ersteren.).

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

Hans
quelle

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

Dies ist auch der Fall, wenn Sie am Ende ein kompliziertes neuronales Netzwerk mit Sigmoid-Aktivierungsfunktion verwenden. Können Sie nachweisen, dass die Ausgabe metrisch-theoretisch wahrscheinlich ist? Wir interpretieren dies jedoch oft als Wahrscheinlichkeit.

Tim

@ Tim: Natürlich kannst du. Mit der Pullback-Maßnahme ist dies leicht zu handhaben. Die Sigmoidfunktion ist eine messbare Funktion, die bereits die Sigma-Felder der Domäne und des Bereichs festlegt (

[0, 1]

$[0,1]$ mit dem (konventionellen) Borel-Feld) der Funktion. Das Wahrscheinlichkeitsmaß einer Teilmenge

A

$A$ des Probenraums

P (A) := μ (f (A))

$P(A):=\mu(f(A))$ wo

μ

$\mu$ ist das (konventionelle) Borel-Maß von

R

$R$ und

f

$f$ ist die Sigmoidfunktion. QED

Hans

Entschuldigung, aber ich fand diese Art von Diskussionen und Maßtheorie nie interessant, deshalb werde ich mich von der weiteren Diskussion zurückziehen. Ich sehe Ihren Standpunkt hier auch nicht, zumal Ihr letzter Absatz genau das zu sagen scheint, was ich von Anfang an gesagt habe.

Tim