Warum und wann sollten wir Mutual Information für statistische Korrelationsmessungen wie "Pearson", "Spearman" oder "Kendall's Tau"
gegenseitige Information ist ein Konzept aus der Informationstheorie. Es ist ein Maß für die gemeinsame Abhängigkeit zwischen zwei Zufallsvariablen, das nicht wie der übliche Korrelationskoeffizient auf skalare Variablen beschränkt ist.
Warum und wann sollten wir Mutual Information für statistische Korrelationsmessungen wie "Pearson", "Spearman" oder "Kendall's Tau"
Kürzlich habe ich zwei Artikel gelesen. Erstens geht es um die Geschichte der Korrelation und zweitens um die neue Methode mit dem Namen Maximal Information Coefficient (MIC). Ich benötige Ihre Hilfe zum Verständnis der MIC-Methode zur Schätzung nichtlinearer Korrelationen zwischen Variablen. Eine...
Angenommen, ich habe zwei Mengen und und eine gemeinsame Wahrscheinlichkeitsverteilung über diese Mengen . Lassen und die Randverteilungen über bezeichnen und jeweils.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Die gegenseitige Information zwischen und ist definiert
Meine Frage bezieht sich insbesondere auf die
Ich habe einige Zeit mit der gegenseitigen Information gearbeitet. Aber ich habe in der "Korrelationswelt" ein sehr neues Maß gefunden, das auch zur Messung der Verteilungsunabhängigkeit verwendet werden kann, die sogenannte "Distanzkorrelation" (auch Brownsche Korrelation genannt):...
Permutationstests (auch Randomisierungstest, Re-Randomisierungstest oder exakter Test genannt) sind sehr nützlich und nützlich, wenn die zum Beispiel erforderliche Annahme einer Normalverteilung t-testnicht erfüllt ist und wenn die Transformation der Werte durch Rangfolge der Werte erfolgt Ein...
Wenn wir die Eigenvektoren der Kovarianzmatrix betrachten, erhalten wir die Richtungen der maximalen Varianz (der erste Eigenvektor ist die Richtung, in der die Daten am stärksten variieren, usw.); Dies wird als Hauptkomponentenanalyse (PCA) bezeichnet. Ich fragte mich, was es bedeuten würde, auf...
In Bezug auf den Titel besteht die Idee darin, die gegenseitige Information hier und nach MI zu verwenden, um die "Korrelation" (definiert als "wie viel ich über A weiß, wenn ich B weiß") zwischen einer kontinuierlichen Variablen und einer kategorialen Variablen zu schätzen. Ich werde Ihnen gleich...
Könnte die gegenseitige Information über die Gelenkentropie: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 definiert werden als: "Die Wahrscheinlichkeit, eine Information von X nach Y zu übermitteln"? Es tut mir leid, dass ich so naiv bin, aber ich habe noch nie...
Eine Möglichkeit zum Generieren von Worteinbettungen ist die folgende ( Spiegelung ): Holen Sie sich eine Korpora, zB "Ich fliege gerne. Ich mag NLP. Ich mag tiefes Lernen." Erstellen Sie daraus das Wort Cooccurrence Matrix: Führen Sie SVD für X.XX durch und behalten Sie die ersten kkk...
Ich habe einen sehr grundlegenden Zweifel. Entschuldigung, wenn dies nur wenige irritiert. Ich weiß, dass der Wert für gegenseitige Informationen größer als 0 sein sollte, aber kleiner als 1? Ist es durch einen oberen Wert begrenzt? Danke,
Hier ist "Weight of Evidence" (WOE) ein gebräuchlicher Begriff in der veröffentlichten wissenschaftlichen und politischen Literatur, der am häufigsten im Zusammenhang mit der Risikobewertung verwendet wird. w(e:h)=logp(e|h)p(e|h¯¯¯)w(e:h)=logp(e|h)p(e|h¯)w(e : h) =
Ich habe ein paar Gespräche von Nicht-Statistikern gesehen, in denen sie Korrelationsmaße offenbar neu erfinden, indem sie gegenseitige Informationen anstelle von Regression (oder gleichwertigen / eng verwandten statistischen Tests) verwenden. Ich nehme an, es gibt einen guten Grund, warum...
Ich bin etwas verwirrt. Kann mir jemand erklären, wie man die gegenseitige Information zwischen zwei Begriffen basierend auf einer Term-Dokument-Matrix mit dem Auftreten eines binären Terms als Gewichtung
Ich versuche, die Idee der gegenseitigen Information auf die Merkmalsauswahl anzuwenden, wie in diesen Vorlesungsunterlagen (auf Seite 5) beschrieben. Meine Plattform ist Matlab. Ein Problem, das ich bei der Berechnung gegenseitiger Informationen aus empirischen Daten finde, ist, dass die Anzahl...
Ich möchte die Beziehung zwischen zwei Variablen, A und B, unter Verwendung gegenseitiger Informationen quantifizieren. Die Berechnung erfolgt durch Gruppieren der Beobachtungen (siehe Beispiel-Python-Code unten). Welche Faktoren bestimmen jedoch, welche Anzahl von Behältern angemessen ist? Ich...
Angenommen, ich habe eine Stichprobe von Häufigkeiten von 4 möglichen Ereignissen: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 und ich habe die erwarteten Wahrscheinlichkeiten, dass meine Ereignisse eintreten: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Mit der Summe der beobachteten Häufigkeiten meiner vier...
Ich habe Probleme, eine Intuition über die gemeinsame Entropie aufzubauen. = Unsicherheit in der gemeinsamen Verteilung ; = Unsicherheit in ; = Unsicherheit in .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) Wenn H (X) hoch ist, ist die Verteilung...
Ich versuche, die normalisierte Form der punktuellen gegenseitigen Information zu verstehen. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Warum normalisiert die logarithmische Gelenkwahrscheinlichkeit die punktweise gegenseitige Information auf [-1,...
Was ist der Unterschied zwischen Kreuzkorrelation und gegenseitiger Information? Welche Probleme können mit diesen Maßnahmen gelöst werden und wann ist es angebracht, sie übereinander anzuwenden? Danke für die Kommentare. Zur Verdeutlichung wird die Frage eher durch ein Interesse an der...