Ich bin mit Fisher-Informationen nicht einverstanden, was es misst und wie es hilfreich ist. Auch die Beziehung zu Cramer-Rao ist mir nicht klar. Kann jemand bitte eine intuitive Erklärung dieser Konzepte
Die Fisher-Informationen messen die Krümmung der Log-Wahrscheinlichkeit und können zur Bewertung der Effizienz von Schätzern verwendet werden.
Ich bin mit Fisher-Informationen nicht einverstanden, was es misst und wie es hilfreich ist. Auch die Beziehung zu Cramer-Rao ist mir nicht klar. Kann jemand bitte eine intuitive Erklärung dieser Konzepte
Ok, das ist eine ziemlich grundlegende Frage, aber ich bin ein bisschen verwirrt. In meiner Diplomarbeit schreibe ich: Die Standardfehler können durch Berechnung der Umkehrung der Quadratwurzel der diagonalen Elemente der (beobachteten) Fisher-Informationsmatrix ermittelt werden:...
Angenommen, wir haben eine Zufallsvariable . Wenn der wahre Parameter wäre, sollte die Wahrscheinlichkeitsfunktion maximiert und die Ableitung gleich Null sein. Dies ist das Grundprinzip des Maximum-Likelihood-Schätzers.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Wie ich es verstehe, ist Fisher...
Kann jemand beweist die folgende Verbindung zwischen Fisher Informationen Metrik und der relativen Entropie (oder KL Divergenz) in eine rein mathematischen rigorosen Art und Weise? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel...
Ausgehend von dem folgenden hierarchischen Modell sind und wobei ist eine Normalverteilung. Gibt es eine Möglichkeit, einen genauen Ausdruck für die Fisher-Information der Randverteilung von wenn . Das heißt, was ist die Fisher-Information von: Ich kann einen Ausdruck für die Randverteilung von...
Lassen Sie . Die Fisher Information Matrix ist definiert als:θ ∈ Rnθ∈Rn\theta \in R^{n} ich( θ )ich , j= - E[ ∂2Log( f( X| θ))∂θich∂θj∣∣∣θ ]ich(θ)ich,j=-E[∂2Log(f(X|θ))∂θich∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial...
Ich reposte eine "Antwort" auf eine Frage, die ich vor zwei Wochen hier gestellt hatte: Warum ist der Jeffreys Prior nützlich? Es war wirklich eine Frage (und ich hatte zu der Zeit auch nicht das Recht, Kommentare zu posten), also hoffe ich, dass es in Ordnung ist, dies zu tun: In der obigen...
In der Standard - Maximalwahrscheinlichkeitseinstellung (iid Stichprobe aus einer Verteilung mit der Dichte f y ( y | θ 0Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) und im Fall eines korrekt spezifizierten Modells wird die Fisher-Information durch
Permutationstests (auch Randomisierungstest, Re-Randomisierungstest oder exakter Test genannt) sind sehr nützlich und nützlich, wenn die zum Beispiel erforderliche Annahme einer Normalverteilung t-testnicht erfüllt ist und wenn die Transformation der Werte durch Rangfolge der Werte erfolgt Ein...
Verschiedene Lehrbücher führen unterschiedliche Bedingungen für die Existenz einer Fisher-Informationsmatrix an. Im Folgenden sind einige dieser Bedingungen aufgeführt, von denen jede in einigen, aber nicht allen Definitionen der "Fisher-Informationsmatrix" vorkommt. Gibt es eine standardmäßige...
(Ich habe eine ähnliche Frage auf math.se gestellt .) In der Informationsgeometrie ist die Determinante der Fisher-Informationsmatrix eine natürliche Volumenform auf einer statistischen Mannigfaltigkeit, daher hat sie eine schöne geometrische Interpretation. Die Tatsache, dass es beispielsweise in...
Betrachten Sie eine Bernoulli-Zufallsvariable X∈{0,1}X∈{0,1}X\in\{0,1\} mit dem Parameter θθ\theta (Erfolgswahrscheinlichkeit). Die Wahrscheinlichkeitsfunktion und die Fisher-Information (eine 1×11×11 \times 1 Matrix)
Aus "In All Likelihood: Statistische Modellierung und Inferenz unter Verwendung von Likelihood" von Y. Pawitan wird die Wahrscheinlichkeit einer Neuparametrisierung als so dass, wenn g eins zu eins ist, L ^ * (\ psi) = L (g ^ {- 1}) (\ psi)) (S. 45). Ich versuche, Übung 2.20 zu zeigen, die besagt,...
Beispiele: Ich habe einen Satz in der Stellenbeschreibung: "Java Senior Engineer in UK". Ich möchte ein Deep-Learning-Modell verwenden, um es als zwei Kategorien vorherzusagen: English und IT jobs. Wenn ich ein traditionelles Klassifizierungsmodell verwende, kann es nur 1 Etikett mit...
Nächste Woche werde ich meinen Schülern die Score-Funktion und ihre Varianz beibringen (dh: Informationen für Fischer ). Ich suche nach Möglichkeiten, diese Konzepte zu veranschaulichen, um meinen Schülern zu helfen, sie zu verstehen (und sie nicht nur für verschiedene Verteilungen zu berechnen,...
Ich versuche, den Unterschied zwischen der Newton-RaphsonTechnik und der Fisher scoringTechnik zu verstehen, indem ich die erste Iteration für jede Methode für eine BernoulliStichprobe berechne . (Ich weiß, dass ich in diesem Fall explizit und sofort berechnen kann, aber ich möchte es iterativ tun,...
Ich habe Probleme, online eine Ressource zu finden, die die erwartete Fisher-Informationsmatrix für die T-Verteilung des univariaten Schülers ableitet. Kennt jemand eine solche Ressource? Da keine Ressource vorhanden ist, die die erwartete Fisher-Informationsmatrix für die T-Verteilung ableitet,...
Die Fisher-Informationen werden auf zwei äquivalente Arten definiert: als Varianz der Steigung von und als Negativ der erwarteten Krümmung von . Da ersteres immer positiv ist, würde dies bedeuten, dass die Krümmung der Log-Liklihood-Funktion überall negativ ist. Das scheint plausibel zu mir, da...