Angenommen, ich habe zwei Mengen und und eine gemeinsame Wahrscheinlichkeitsverteilung über diese Mengen . Lassen und die Randverteilungen über bezeichnen und jeweils.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Die gegenseitige Information zwischen und ist definiert
Permutationstests (auch Randomisierungstest, Re-Randomisierungstest oder exakter Test genannt) sind sehr nützlich und nützlich, wenn die zum Beispiel erforderliche Annahme einer Normalverteilung t-testnicht erfüllt ist und wenn die Transformation der Werte durch Rangfolge der Werte erfolgt Ein...
Diese Frage gibt eine quantitative Definition der Kreuzentropie in Bezug auf ihre Formel. Ich suche nach einer eher fiktiven Definition, sagt Wikipedia: In der Informationstheorie misst die Kreuzentropie zwischen zwei Wahrscheinlichkeitsverteilungen die durchschnittliche Anzahl von Bits, die zum...
Ich bündele Wahrscheinlichkeitsverteilungen mit dem Affinitätsausbreitungsalgorithmus und plane, Jensen-Shannon-Divergenz als Distanzmetrik zu verwenden. Ist es richtig, JSD selbst als Distanz zu verwenden oder JSD im Quadrat? Warum? Welche Unterschiede würden sich aus der Wahl des einen oder...
Ich würde gerne wissen, ob Breimans zufälliger Wald (zufälliger Wald in R randomForest-Paket) als Aufteilungskriterium (Kriterium für die Attributauswahl) Informationsgewinn oder Gini-Index verwendet. Ich habe versucht, es auf http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm und in...
Ohne Quellenangabe definiert Wikipedia die Kreuzentropie der diskreten Verteilungen und alsQPPPQ.QQ H×( S.; Q )= - ∑xp ( x )Logq( x ) .H×(P;Q)=−∑xp(x)logq(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Wer hat als Erster mit dieser Menge begonnen? Und wer...
Wenn wir die Eigenvektoren der Kovarianzmatrix betrachten, erhalten wir die Richtungen der maximalen Varianz (der erste Eigenvektor ist die Richtung, in der die Daten am stärksten variieren, usw.); Dies wird als Hauptkomponentenanalyse (PCA) bezeichnet. Ich fragte mich, was es bedeuten würde, auf...
Ich dachte, dass das Konzept einer typischen Menge ziemlich intuitiv ist: Eine Folge der Länge nnn würde zu der typischen Menge wenn die Wahrscheinlichkeit, dass die Folge herauskommt, hoch wäre. Jede mögliche Sequenz, die wahrscheinlich war, würde sich in . (Ich vermeide die formale Definition im...
Ich habe kürzlich diesen Artikel über die Entropie einer diskreten Wahrscheinlichkeitsverteilung gelesen . Es beschreibt eine nette Art, über Entropie nachzudenken, da die erwartete Anzahl von Bits (zumindest bei Verwendung von in Ihrer Entropiedefinition) zum Codieren einer Nachricht benötigt...
Für einen beliebigen kontinuierlichen Zufallsvariable, sagt XXX ist seine differentielle Entropie immer kleiner als ∞∞\infty ? (Es ist in Ordnung, wenn es −∞−∞-\infty .) Wenn nicht, was ist die notwendige und ausreichende Bedingung, damit es weniger als ∞∞\infty
Diese Frage ist also etwas umständlich, aber ich habe sorgfältig versucht, sie so einfach wie möglich zu gestalten. Ziel: Kurz gesagt, es gibt eine Ableitung von Negentropie, die keine Kumulanten höherer Ordnung beinhaltet, und ich versuche zu verstehen, wie sie abgeleitet wurde. Hintergrund: (Ich...
Ich versuche, mich mit dem folgenden Beweis zu beschäftigen, dass der Gaußsche die maximale Entropie hat. Wie macht der markierte Schritt Sinn? Eine bestimmte Kovarianz korrigiert nur den zweiten Moment. Was passiert mit dem dritten, vierten, fünften Moment usw.?
Die Entropie einer stetigen Verteilung mit der Dichtefunktion fff ist definiert als das Negative der Erwartung von und ist daher gleichlog(f),log(f),\log(f), Hf=−∫∞−∞log(f(x))f(x)dx.Hf=−∫−∞∞log(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. Wir sagen auch, dass jede...
Gibt es eine Verwendung für die Menge in der Statistik oder Informationstheorie?∫f( x )2dx∫f(x)2dx \int f(x)^2 dx
Was ist die maximale Entropieverteilung ? für eine positive stetige Variable angesichts ihres ersten und zweiten Moments? Zum Beispiel ist eine Gaußsche Verteilung die maximale Entropieverteilung für eine unbegrenzte Variable aufgrund ihres Mittelwerts und ihrer Standardabweichung, und eine...
Die Differentialentropie des Gaußschen RV beträgt log2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e}). Dies ist abhängig vonσσ\sigma, der Standardabweichung. Wenn wir die Zufallsvariable so normalisieren, dass sie eine Einheitsvarianz aufweist, fällt ihre Differentialentropie ab. Für mich ist...
Sind die Cross-Entropie-Kosten im Kontext der Regression sinnvoll (im Gegensatz zur Klassifizierung)? Wenn ja, könnten Sie über TensorFlow ein Spielzeugbeispiel geben? Wenn nicht, warum nicht? Ich habe über Cross-Entropy in Neuronalen Netzen und Deep Learning von Michael Nielsen gelesen und es...
Die Frage: Bootstrapping ist Jackknifing überlegen ; Ich frage mich jedoch, ob es Fälle gibt, in denen das Jackknifing die einzige oder zumindest eine praktikable Option zur Charakterisierung der Unsicherheit aus Parameterschätzungen ist. Auch in praktischen Situationen, wie voreingenommen /...
Sei px,ypx,yp_{x,y} eine gemeinsame Verteilung zweier kategorialer Variablen X,YX,YX,Y mit x,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\} . Angenommen, es wurden nnn Stichproben aus dieser Verteilung gezogen, aber wir erhalten nur die Grenzwerte, nämlich für j=1,…,Kj=1,…,Kj=1,\ldots,K...
Ich habe einen sehr großen Datensatz und es fehlen ungefähr 5% zufällige Werte. Diese Variablen sind miteinander korreliert. Der folgende Beispiel-R-Datensatz ist nur ein Spielzeugbeispiel mit Dummy-korrelierten Daten. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000,...