Gaußsche Mischungsmodelle (GMMs) sind ansprechend, weil sie sowohl analytisch als auch praktisch einfach zu handhaben sind und in der Lage sind, einige exotische Verteilungen ohne zu große Komplexität zu modellieren. Es gibt einige analytische Eigenschaften, die wir erwarten sollten und die im...
Ich versuche, mich mit dem folgenden Beweis zu beschäftigen, dass der Gaußsche die maximale Entropie hat. Wie macht der markierte Schritt Sinn? Eine bestimmte Kovarianz korrigiert nur den zweiten Moment. Was passiert mit dem dritten, vierten, fünften Moment usw.?
Gibt es eine Verwendung für die Menge in der Statistik oder Informationstheorie?∫f( x )2dx∫f(x)2dx \int f(x)^2 dx
Ich habe im letzten Jahr ziemlich genau an der Stichprobe der Wichtigkeit gearbeitet und habe ein paar offene Fragen, bei denen ich gehofft hatte, Hilfe zu bekommen. Meine praktische Erfahrung mit Stichprobenverfahren von Bedeutung war, dass sie gelegentlich fantastische Schätzungen mit niedriger...
Die Differentialentropie des Gaußschen RV beträgt log2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e}). Dies ist abhängig vonσσ\sigma, der Standardabweichung. Wenn wir die Zufallsvariable so normalisieren, dass sie eine Einheitsvarianz aufweist, fällt ihre Differentialentropie ab. Für mich ist...
In Bezug auf den Titel besteht die Idee darin, die gegenseitige Information hier und nach MI zu verwenden, um die "Korrelation" (definiert als "wie viel ich über A weiß, wenn ich B weiß") zwischen einer kontinuierlichen Variablen und einer kategorialen Variablen zu schätzen. Ich werde Ihnen gleich...
Hinweis: Diese Frage ist ein Repost, da meine vorherige Frage aus rechtlichen Gründen gelöscht werden musste. Beim Vergleich von PROC MIXED von SAS mit der Funktion lmeaus dem nlmePaket in R bin ich auf einige verwirrende Unterschiede gestoßen. Insbesondere unterscheiden sich die Freiheitsgrade...
Ich möchte die Jensen-Shannon-Divergenz für die folgenden 3 Verteilungen berechnen. Ist die unten stehende Berechnung korrekt? (Ich folgte der JSD-Formel aus Wikipedia ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) =...
Aus Wikipedia gibt es eine Definition von Akaikes Informationskriterium (AIC) als , wobei die Anzahl der Parameter und die log-Wahrscheinlichkeit des Modells ist.AIC=2k−2logLAIC=2k−2logL AIC = 2k -2 \log L kkklogLlogL\log L Unsere Ökonometrie stellt jedoch an einer angesehenen Universität fest,...
(Ich habe eine ähnliche Frage auf math.se gestellt .) In der Informationsgeometrie ist die Determinante der Fisher-Informationsmatrix eine natürliche Volumenform auf einer statistischen Mannigfaltigkeit, daher hat sie eine schöne geometrische Interpretation. Die Tatsache, dass es beispielsweise in...
Ich habe ein Programm geschrieben, um ein Überhandkarten -Shuffle zu simulieren . Jede Karte ist nummeriert, mit einer Farbe von CLUBS, DIAMONDS, HEARTS, SPADESund einem Rang von zwei bis zehn, dann Jack, Queen, King und Ace. Somit hat die Zwei der Vereine eine Nummer von 1, die Drei der Vereine...
Die einfachste Form der informationstheoretischen CLT ist die folgende: Sei iid mit Mittelwert und Varianz . Sei die Dichte der normalisierten Summe und die Standard-Gaußsche Dichte. Dann besagt die informationstheoretische CLT, dass wenn für einige n endlich ist , dann D (f_n \ | \ phi) \ bis 0...
Ich habe einen sehr grundlegenden Zweifel. Entschuldigung, wenn dies nur wenige irritiert. Ich weiß, dass der Wert für gegenseitige Informationen größer als 0 sein sollte, aber kleiner als 1? Ist es durch einen oberen Wert begrenzt? Danke,
Könnte die gegenseitige Information über die Gelenkentropie: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 definiert werden als: "Die Wahrscheinlichkeit, eine Information von X nach Y zu übermitteln"? Es tut mir leid, dass ich so naiv bin, aber ich habe noch nie...
Was ist eine gute Metrik zur Bewertung der Qualität der Hauptkomponentenanalyse (PCA)? Ich habe diesen Algorithmus an einem Datensatz durchgeführt. Mein Ziel war es, die Anzahl der Funktionen zu reduzieren (die Informationen waren sehr redundant). Ich weiß, dass der Prozentsatz der aufbewahrten...
Ich möchte die Beziehung zwischen zwei Variablen, A und B, unter Verwendung gegenseitiger Informationen quantifizieren. Die Berechnung erfolgt durch Gruppieren der Beobachtungen (siehe Beispiel-Python-Code unten). Welche Faktoren bestimmen jedoch, welche Anzahl von Behältern angemessen ist? Ich...
Bei meiner Forschung bin ich auf das folgende allgemeine Problem gestoßen: Ich habe zwei Verteilungen und über dieselbe Domäne und eine große (aber endliche) Anzahl von Stichproben aus diesen Verteilungen. Die Proben sind unabhängig und identisch von einer dieser beiden Verteilungen verteilt...
Ich versuche, die Idee der gegenseitigen Information auf die Merkmalsauswahl anzuwenden, wie in diesen Vorlesungsunterlagen (auf Seite 5) beschrieben. Meine Plattform ist Matlab. Ein Problem, das ich bei der Berechnung gegenseitiger Informationen aus empirischen Daten finde, ist, dass die Anzahl...
Verliert die Dimensionsreduzierung, wie der Titel schon sagt, immer einige Informationen? Betrachten Sie zum Beispiel PCA. Wenn die Daten, die ich habe, sehr spärlich sind, würde ich annehmen, dass eine "bessere Codierung" gefunden werden könnte (hängt dies irgendwie mit dem Rang der Daten...
Ich bin etwas verwirrt. Kann mir jemand erklären, wie man die gegenseitige Information zwischen zwei Begriffen basierend auf einer Term-Dokument-Matrix mit dem Auftreten eines binären Terms als Gewichtung