Mit einem flachen Prior fallen die Schätzer ML (Frequentist - Maximum Likelihood) und MAP (Bayesian - Maximum A Posteriori) zusammen. Im Allgemeinen spreche ich jedoch von Punktschätzern, die als Optimierer einer Verlustfunktion abgeleitet wurden. Dh (Bayesian) x
Gibt es gute Bücher, die wichtige Konzepte der Wahrscheinlichkeitstheorie wie Wahrscheinlichkeitsverteilungsfunktionen und kumulative Verteilungsfunktionen erklären? Vermeiden Sie es, auf Bücher wie "Mathematical Statistics and Data Analysis" von John Rice zu verweisen, die mit einfachen...
Ich habe einige grundlegende Methoden gefunden, um die Komplexität neuronaler Netze zu messen: Naiv und informell: Zählen Sie die Anzahl der Neuronen, verborgenen Neuronen, Schichten oder verborgenen Schichten VC-Dimension (Eduardo D. Sontag [1998] "VC-Dimension neuronaler Netze" [ pdf ].) Ein...
Diese Frage wurde durch zwei kürzlich von mir durchgeführte Interaktionen inspiriert, eine hier im Lebenslauf und die andere bei economics.se. Dort hatte ich eine Antwort auf das bekannte "Envelope Paradox" gepostet (wohlgemerkt nicht als die "richtige Antwort", sondern als die Antwort, die sich...
Welche theoretischen Herangehensweisen an die Kausalität sollte ich als angewandter Statistiker / Ökonometriker kennen? Ich kenne die (ein bisschen) Neyman-Rubin-Kausalmodell (und Roy , Haavelmo usw.) Pearl's Arbeit über Kausalität Granger-Kausalität (wenn auch weniger behandlungsorientiert) Welche...
Ohne Quellenangabe definiert Wikipedia die Kreuzentropie der diskreten Verteilungen und alsQPPPQ.QQ H×( S.; Q )= - ∑xp ( x )Logq( x ) .H×(P;Q)=−∑xp(x)logq(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Wer hat als Erster mit dieser Menge begonnen? Und wer...
Permutationstests (auch Randomisierungstest, Re-Randomisierungstest oder exakter Test genannt) sind sehr nützlich und nützlich, wenn die zum Beispiel erforderliche Annahme einer Normalverteilung t-testnicht erfüllt ist und wenn die Transformation der Werte durch Rangfolge der Werte erfolgt Ein...
Diese Frage gibt eine quantitative Definition der Kreuzentropie in Bezug auf ihre Formel. Ich suche nach einer eher fiktiven Definition, sagt Wikipedia: In der Informationstheorie misst die Kreuzentropie zwischen zwei Wahrscheinlichkeitsverteilungen die durchschnittliche Anzahl von Bits, die zum...
Ich habe versucht, den AIC einer linearen Regression in R zu berechnen, ohne die AICFunktion zu verwenden: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Allerdings AICgibt einen anderen...
Betrachten Sie Jaynes 'Lösung des Bertrand-Paradoxons nach dem Prinzip der Gleichgültigkeit . Warum trifft ein ähnliches Argument auf das Borel-Kolmogorov-Paradoxon nicht zu ? Ist etwas falsch daran zu argumentieren, dass das Drehen der Kugel die resultierende Verteilung, die durch den gewählten...
Für einen beliebigen kontinuierlichen Zufallsvariable, sagt XXX ist seine differentielle Entropie immer kleiner als ∞∞\infty ? (Es ist in Ordnung, wenn es −∞−∞-\infty .) Wenn nicht, was ist die notwendige und ausreichende Bedingung, damit es weniger als ∞∞\infty
Ich dachte, dass das Konzept einer typischen Menge ziemlich intuitiv ist: Eine Folge der Länge nnn würde zu der typischen Menge wenn die Wahrscheinlichkeit, dass die Folge herauskommt, hoch wäre. Jede mögliche Sequenz, die wahrscheinlich war, würde sich in . (Ich vermeide die formale Definition im...
Gaußsche Mischungsmodelle (GMMs) sind ansprechend, weil sie sowohl analytisch als auch praktisch einfach zu handhaben sind und in der Lage sind, einige exotische Verteilungen ohne zu große Komplexität zu modellieren. Es gibt einige analytische Eigenschaften, die wir erwarten sollten und die im...
Stellen Sie sich folgendes Setup vor: Sie haben 2 Münzen, Münze A, die garantiert fair ist, und Münze B, die fair sein kann oder nicht. Sie werden aufgefordert, 100 Münzen zu werfen, und Ihr Ziel ist es, die Anzahl der Köpfe zu maximieren . Ihre vorherige Information über Münze B ist, dass sie...
Kontext : Ich möchte eine Linie in einem Streudiagramm zeichnen, die nicht parametrisch erscheint, daher verwende ich geom_smooth()in ggplotin R. Es gibt automatisch geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x'...
Ich habe kürzlich diesen Artikel über die Entropie einer diskreten Wahrscheinlichkeitsverteilung gelesen . Es beschreibt eine nette Art, über Entropie nachzudenken, da die erwartete Anzahl von Bits (zumindest bei Verwendung von in Ihrer Entropiedefinition) zum Codieren einer Nachricht benötigt...
Gibt es eine Verwendung für die Menge in der Statistik oder Informationstheorie?∫f( x )2dx∫f(x)2dx \int f(x)^2 dx
Die Differentialentropie des Gaußschen RV beträgt log2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e}). Dies ist abhängig vonσσ\sigma, der Standardabweichung. Wenn wir die Zufallsvariable so normalisieren, dass sie eine Einheitsvarianz aufweist, fällt ihre Differentialentropie ab. Für mich ist...
Ich versuche, mich mit dem folgenden Beweis zu beschäftigen, dass der Gaußsche die maximale Entropie hat. Wie macht der markierte Schritt Sinn? Eine bestimmte Kovarianz korrigiert nur den zweiten Moment. Was passiert mit dem dritten, vierten, fünften Moment usw.?
Ich habe im letzten Jahr ziemlich genau an der Stichprobe der Wichtigkeit gearbeitet und habe ein paar offene Fragen, bei denen ich gehofft hatte, Hilfe zu bekommen. Meine praktische Erfahrung mit Stichprobenverfahren von Bedeutung war, dass sie gelegentlich fantastische Schätzungen mit niedriger...