Wie führt ein einheitlicher Prior zu denselben Schätzungen hinsichtlich der maximalen Wahrscheinlichkeit und der Art des Seitenzahns?

Ich studiere verschiedene Punktschätzungsmethoden und lese, dass bei Verwendung von MAP- und ML-Schätzungen, wenn wir einen "einheitlichen Prior" verwenden, die Schätzungen identisch sind. Kann jemand erklären, was ein "einheitlicher" Prior ist, und einige (einfache) Beispiele dafür geben, wann die MAP- und ML-Schätzer gleich wären?

machine-learning probability bayesian estimation maximum-likelihood user1516425
quelle

@AndreSilva MAP = Maximum a posteriori - der Modus des posterioren

Glen_b -State Monica

Schauen Sie hier: math.stackexchange.com/questions/1327752/…

Royi

Antworten:

Es ist eine gleichmäßige Verteilung (entweder kontinuierlich oder diskret).

Siehe auch

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

und

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

Wenn Sie eine Uniform vor einem Satz verwenden, der die MLE enthält, ist MAP = MLE immer. Der Grund dafür ist, dass unter dieser früheren Struktur die posteriore Verteilung und die Wahrscheinlichkeit proportional sind.

Ahorn
quelle

Dies ist meiner Meinung nach eine gute Antwort. Es könnte erwähnenswert sein, dass der Grund dafür, dass die posteriore Verteilung und die Wahrscheinlichkeit proportional sind, darin besteht, dass die posteriore Verteilung selbst proportional zum Produkt der Wahrscheinlichkeit und des Prior ist. Wenn der Prior überall den gleichen Wert annimmt wie bei der Gleichverteilung, ist die hintere Verteilung einfach proportional zur Wahrscheinlichkeit.

TooTone

@TooTone Ich würde auch einen Punkt über die Unangemessenheit hinzufügen.

Stéphane Laurent

Ein einheitlicher Prior kann als Angabe eines Benutzersatzes oder einer gleichen Wahrscheinlichkeit für jede Klasse angesehen werden, die Sie vorhersagen möchten. Wenn wir beispielsweise ein Zwei-Klassen-Problem haben und die Verteilung für positive Beispiele 10% beträgt (dh eine vorherige Wahrscheinlichkeit von 0,1), können wir den einheitlichen Prior für die positiven Fälle auf 0,5 setzen, um den Ungleichgewichtseffekt des Originals zu überwinden Verteilung.

Soufanom

Bemerkenswerterweise kollidieren MAP und ML unter Uniform Prior nur dann, wenn der Uniform Prior alle gültigen Werte des Parameters überschreitet. Wenn der Parameter nämlich stetig ist und der Prior nur bei [0, 1] einheitlich ist, gilt er nicht.

Royi

@ Drake: gute Bemerkung. Es ist tatsächlich "schlimmer" als das, nämlich der (Wert des) MAP hängt von der Wahl des dominierenden Maßes ab, wie in diesem Artikel von Druihlet und Marin erläutert .

Xi'an

$P(D|\theta)P(\theta)$ $P(\theta)$

gg1782191
quelle

(-1) Die maximale Wahrscheinlichkeitsschätzung (eines Parameters) ist eine Schätzung eines Parameters, nicht "die Schätzung des Auftretens eines bestimmten Ereignisses". Der Rest der Antwort ist ebenfalls etwas verwirrt / verwirrend, zum Beispiel ist unklar, worauf sich "Mittelwert und Varianz" beziehen.

Juho Kokkala

@ Tim, können Sie einen Beweis (oder eine Gliederung) liefern, der zeigt The mean and variance estimate of MAP will be same as mean and variance estimate of MLE? Vielen Dank

neugierig_dan

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta) p(\theta)$

p (θ) \propto 1

$p(\theta) \propto 1$

p (θ | X) \propto p (X | θ) \times 1

$p(\theta|X) \propto p(X|\theta) \times 1$

danke, @Tim --- Ich kann sehen, warum dies für den maximalen / erwarteten Wert gilt, aber es ist mir nicht klar, dass die Varianz gleich sein wird

neugierig_dan

@curious_dan Varianz von was? Dies gilt für jeden von Ihnen geschätzten Parameter.

Tim