Ich bin mit Fisher-Informationen nicht einverstanden, was es misst und wie es hilfreich ist. Auch die Beziehung zu Cramer-Rao ist mir nicht klar. Kann jemand bitte eine intuitive Erklärung dieser Konzepte
Ok, das ist eine ziemlich grundlegende Frage, aber ich bin ein bisschen verwirrt. In meiner Diplomarbeit schreibe ich: Die Standardfehler können durch Berechnung der Umkehrung der Quadratwurzel der diagonalen Elemente der (beobachteten) Fisher-Informationsmatrix ermittelt werden:...
Ich möchte die Entropie / Informationsdichte / Musterähnlichkeit einer zweidimensionalen binären Matrix messen. Lassen Sie mich zur Verdeutlichung einige Bilder zeigen: Diese Anzeige sollte eine ziemlich hohe Entropie haben: EIN) Dies sollte eine mittlere Entropie haben: B) Diese Bilder sollten...
Warum und wann sollten wir Mutual Information für statistische Korrelationsmessungen wie "Pearson", "Spearman" oder "Kendall's Tau"
Wenn das Interesse lediglich die Parameter eines Modells schätzt (punktweise und / oder Intervallschätzung) und die vorherigen Informationen nicht zuverlässig und schwach sind (ich weiß, dass dies ein bisschen vage ist, aber ich versuche, ein Szenario zu etablieren, in dem die Wahl von a Prior ist...
Angenommen, wir haben eine Zufallsvariable . Wenn der wahre Parameter wäre, sollte die Wahrscheinlichkeitsfunktion maximiert und die Ableitung gleich Null sein. Dies ist das Grundprinzip des Maximum-Likelihood-Schätzers.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Wie ich es verstehe, ist Fisher...
Ausgehend von dem folgenden hierarchischen Modell sind und wobei ist eine Normalverteilung. Gibt es eine Möglichkeit, einen genauen Ausdruck für die Fisher-Information der Randverteilung von wenn . Das heißt, was ist die Fisher-Information von: Ich kann einen Ausdruck für die Randverteilung von...
Kann jemand beweist die folgende Verbindung zwischen Fisher Informationen Metrik und der relativen Entropie (oder KL Divergenz) in eine rein mathematischen rigorosen Art und Weise? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel...
Kürzlich habe ich zwei Artikel gelesen. Erstens geht es um die Geschichte der Korrelation und zweitens um die neue Methode mit dem Namen Maximal Information Coefficient (MIC). Ich benötige Ihre Hilfe zum Verständnis der MIC-Methode zur Schätzung nichtlinearer Korrelationen zwischen Variablen. Eine...
Lassen Sie . Die Fisher Information Matrix ist definiert als:θ ∈ Rnθ∈Rn\theta \in R^{n} ich( θ )ich , j= - E[ ∂2Log( f( X| θ))∂θich∂θj∣∣∣θ ]ich(θ)ich,j=-E[∂2Log(f(X|θ))∂θich∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial...
In der Standard - Maximalwahrscheinlichkeitseinstellung (iid Stichprobe aus einer Verteilung mit der Dichte f y ( y | θ 0Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) und im Fall eines korrekt spezifizierten Modells wird die Fisher-Information durch
Angenommen, ich habe zwei Mengen und und eine gemeinsame Wahrscheinlichkeitsverteilung über diese Mengen . Lassen und die Randverteilungen über bezeichnen und jeweils.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Die gegenseitige Information zwischen und ist definiert
Ich reposte eine "Antwort" auf eine Frage, die ich vor zwei Wochen hier gestellt hatte: Warum ist der Jeffreys Prior nützlich? Es war wirklich eine Frage (und ich hatte zu der Zeit auch nicht das Recht, Kommentare zu posten), also hoffe ich, dass es in Ordnung ist, dies zu tun: In der obigen...
Ich habe einige Zeit mit der gegenseitigen Information gearbeitet. Aber ich habe in der "Korrelationswelt" ein sehr neues Maß gefunden, das auch zur Messung der Verteilungsunabhängigkeit verwendet werden kann, die sogenannte "Distanzkorrelation" (auch Brownsche Korrelation genannt):...
Meine Frage bezieht sich insbesondere auf die
Permutationstests (auch Randomisierungstest, Re-Randomisierungstest oder exakter Test genannt) sind sehr nützlich und nützlich, wenn die zum Beispiel erforderliche Annahme einer Normalverteilung t-testnicht erfüllt ist und wenn die Transformation der Werte durch Rangfolge der Werte erfolgt Ein...
Wenn wir die Eigenvektoren der Kovarianzmatrix betrachten, erhalten wir die Richtungen der maximalen Varianz (der erste Eigenvektor ist die Richtung, in der die Daten am stärksten variieren, usw.); Dies wird als Hauptkomponentenanalyse (PCA) bezeichnet. Ich fragte mich, was es bedeuten würde, auf...
Verschiedene Lehrbücher führen unterschiedliche Bedingungen für die Existenz einer Fisher-Informationsmatrix an. Im Folgenden sind einige dieser Bedingungen aufgeführt, von denen jede in einigen, aber nicht allen Definitionen der "Fisher-Informationsmatrix" vorkommt. Gibt es eine standardmäßige...
In Bezug auf den Titel besteht die Idee darin, die gegenseitige Information hier und nach MI zu verwenden, um die "Korrelation" (definiert als "wie viel ich über A weiß, wenn ich B weiß") zwischen einer kontinuierlichen Variablen und einer kategorialen Variablen zu schätzen. Ich werde Ihnen gleich...
(Ich habe eine ähnliche Frage auf math.se gestellt .) In der Informationsgeometrie ist die Determinante der Fisher-Informationsmatrix eine natürliche Volumenform auf einer statistischen Mannigfaltigkeit, daher hat sie eine schöne geometrische Interpretation. Die Tatsache, dass es beispielsweise in...