MLE für Dreiecksverteilung?

12

Ist es möglich, das übliche MLE-Verfahren auf die Dreiecksverteilung anzuwenden? - Ich versuche es, aber ich scheine bei dem einen oder anderen Schritt in der Mathematik durch die Art und Weise, wie die Verteilung definiert ist, blockiert zu sein. Ich versuche die Tatsache zu nutzen, dass ich die Anzahl der Proben über und unter c kenne (ohne c zu kennen): Diese 2 Zahlen sind cn und (1-c) n, wenn n die Gesamtzahl der Proben ist. Dies scheint jedoch bei der Ableitung nicht zu helfen. Der Moment der Momente gibt einen Schätzer für c ohne viel Problem. Was ist die genaue Art der Behinderung von MLE hier (falls es tatsächlich eine gibt)?

Mehr Details:

Betrachten wir in [ 0 , 1 ] und die auf [ 0 , 1 ] definierte Verteilung durch: c[0,1][0,1]

wenn x <cf(x;c)=2(1-x)f(x;c)=2xc
wenn c <= x f(x;c)=2(1x)(1c)

Nehmen wir aus dieser Verteilung ein iid-Beispiel { x i } aus der Log-Wahrscheinlichkeit von c für dieses Beispiel:n{xi}

l^(c|{xi})=i=1nln(f(xi|c))

Ich versuche dann, die Tatsache zu nutzen, dass wir angesichts der Form von wissen, dass c n Proben unter das (unbekannte) c fallen und ( 1 - c ) n über c fallen wird . IMHO erlaubt dies, die Summation im Ausdruck der Log-Wahrscheinlichkeit folgendermaßen zu zerlegen:fcnc(1c)nc

l^(c|{xi})=i=1cnln2xic+i=1(1c)nln2(1xi)1c

cc

l^(c|{xi})=i=1n{xi<c}ln2xic+i=1n{c<=xi}ln2(1xi)1c

Aber das Ableiten der Indikatoren scheint auch nicht einfach zu sein, obwohl Dirac-Deltas es ermöglichen könnten, fortzufahren (während wir noch Indikatoren haben, da wir Produkte ableiten müssen).

Also, hier bin ich in MLE blockiert. Irgendeine Idee?

Frank
quelle
Wenn dies für ein Thema gilt, fügen Sie bitte das Selbststudien-Tag hinzu. Wenn dies nicht der Fall ist, erläutern Sie bitte, wie das Problem auftritt.
Glen_b -State Monica
Danke für das Update; es macht es viel einfacher, vernünftige Dinge als Antwort zu sagen, da es den Umfang der zu behandelnden Fälle erheblich reduziert. Könnten Sie bitte meinen früheren Kommentar berücksichtigen? Entweder fällt dies unter das Tag des Selbststudiums oder nicht. In beiden Fällen habe ich gefragt, ob Sie etwas tun würden.
Glen_b -State Monica
Dies nicht für Hausaufgaben oder eine Klasse. Es entsteht bei meiner Arbeit. Wir haben einen anderen Schätzer aus der Methode der Momente, aber ich versuche, ein tieferes Verständnis dafür zu bekommen, was hier mit MLE los ist.
Frank
Okay; das gibt mir mehr Spielraum. Siehe meine aktualisierte Antwort. Ich werde wahrscheinlich bald weitere Ergänzungen
vornehmen
Verweise / Links
hinzugefügt

Antworten:

10

Ist es möglich, das übliche MLE-Verfahren auf die Dreiecksverteilung anzuwenden?

Bestimmt! Obwohl es einige Kuriositäten gibt, mit denen man sich befassen muss, ist es in diesem Fall möglich, MLEs zu berechnen.

Wenn Sie jedoch mit "dem üblichen Verfahren" "Ableitungen der Log-Wahrscheinlichkeit nehmen und auf Null setzen" meinen, dann vielleicht auch nicht.

Was ist die genaue Art der Behinderung von MLE hier (falls es tatsächlich eine gibt)?

Haben Sie versucht, die Wahrscheinlichkeit zu zeichnen?

- -

Follow-up nach Klärung der Frage:

Die Frage nach der Wahrscheinlichkeitsfindung war kein müßiger Kommentar, sondern von zentraler Bedeutung für das Thema.

Bei MLE wird ein Derivat verwendet

Nein. MLE beinhaltet das Finden des Argmax einer Funktion. Das beinhaltet nur das Finden der Nullen einer Ableitung unter bestimmten Bedingungen ... die hier nicht gelten. Wenn Sie dies schaffen, identifizieren Sie bestenfalls einige lokale Minima .

Schauen Sie sich, wie meine frühere Frage andeutete, die Wahrscheinlichkeit an.

y

0.5067705 0.2345473 0.4121822 0.3780912 0.3085981 0.3867052 0.4177924
0.5009028 0.8420312 0.2588613

cWahrscheinlichkeit für Spitze des Dreiecks

log-Wahrscheinlichkeit für die Spitze des Dreiecks

Die grauen Linien markieren die Datenwerte (ich hätte wahrscheinlich eine neue Stichprobe generieren sollen, um eine bessere Trennung der Werte zu erreichen). Die schwarzen Punkte markieren die Wahrscheinlichkeit / Log-Wahrscheinlichkeit dieser Werte.

Hier ist ein Zoom in der Nähe des Maximums der Wahrscheinlichkeit, um mehr Details zu sehen:

Detail der Wahrscheinlichkeit

Wie Sie der Wahrscheinlichkeit entnehmen können, hat die Wahrscheinlichkeitsfunktion bei vielen Auftragsstatistiken scharfe "Ecken" - Punkte, an denen die Ableitung nicht existiert (was nicht überraschend ist - das ursprüngliche PDF hat eine Ecke und wir nehmen eine Produkt von pdfs). Dies (bei der Auftragsstatistik gibt es Höcker) ist bei der Dreiecksverteilung der Fall, und das Maximum tritt immer bei einer der Auftragsstatistiken auf. (Dass bei der Ordnungsstatistik Höcker auftreten, ist nicht nur bei den Dreiecksverteilungen der Fall. Beispielsweise hat die Laplace-Dichte eine Ecke, und daher hat die Wahrscheinlichkeit für ihr Zentrum bei jeder Ordnungsstatistik eine.)

Wie in meiner Stichprobe tritt das Maximum als Statistik vierter Ordnung auf, 0,3780912

cc

Eine nützliche Referenz ist Kapitel 1 von " Beyond Beta " von Johan van Dorp und Samuel Kotz. Kapitel 1 ist ein kostenloses Beispielkapitel für das Buch - Sie können es hier herunterladen .

Es gibt ein hübsches kleines Papier von Eddie Oliver zu diesem Thema mit der dreieckigen Verteilung, denke ich in American Statistician (das macht im Grunde die gleichen Punkte; ich denke, es war in einer Lehrerecke). Wenn ich es finden kann, gebe ich es als Referenz.

Edit: hier ist es:

EH Oliver (1972), A Maximum Likelihood Oddity,
The American Statistician , Band 26, Ausgabe 3, Juni, S. 43-44

(Publisher- Link )

Wenn Sie es leicht finden können, ist es einen Blick wert, aber dieses Kapitel von Dorp und Kotz behandelt die meisten relevanten Themen, so dass es nicht entscheidend ist.


Um die Frage in den Kommentaren weiterzuverfolgen - selbst wenn Sie eine Möglichkeit finden könnten, die Ecken zu glätten, müssten Sie sich dennoch mit der Tatsache auseinandersetzen, dass Sie mehrere lokale Maxima erhalten können:

zwei lokale max

Es könnte jedoch möglich sein, Schätzer mit sehr guten Eigenschaften zu finden (besser als die Methode der Momente), die Sie leicht aufschreiben können. Aber ML auf dem Dreieck auf (0,1) ist ein paar Codezeilen.

Wenn es sich um große Datenmengen handelt, kann auch dies behandelt werden, wäre aber eine andere Frage, denke ich. Beispielsweise kann nicht jeder Datenpunkt ein Maximum sein, was die Arbeit reduziert, und es können einige andere Einsparungen erzielt werden.

Glen_b
quelle
Danke - ich werde versuchen, meinen fehlgeschlagenen Versuch zu veröffentlichen und zu zeigen, über welche Distribution ich genau spreche und wo ich denke, dass ich blockiert bin.
Frank
Danke für die ausführliche Erklärung! Ich hatte jedoch eine andere Idee: Angenommen, ich könnte eine Familie von Funktionen finden, die zur Dreiecksverteilung konvergiert, aber nicht stückweise wäre - könnte ich das verwenden, um eine MLE analytisch abzuleiten, dann das Limit nehmen und annehmen, dass ich eine MLE der haben würde Dreiecksverteilung selbst?
Frank
Möglicherweise - ich denke, das hängt möglicherweise von dem bestimmten Limit-Prozess ab, den Sie verwenden ... und Sie werden wahrscheinlich immer noch mehrere lokale Maxima haben, sodass Sie wahrscheinlich nur die Wahrscheinlichkeit in der Nähe der Statistik für extreme Ordnungen bewerten können - aber selbst wenn dies der Fall ist funktioniert, warum sollten Sie überhaupt versuchen, etwas so kompliziertes zu tun? Was ist los mit ML in der Dreiecksverteilung? In der Praxis ist das ganz einfach.
Glen_b -State Monica
2
Ich muss sagen, diese MLE für c basierend auf Auftragsstatistiken ist ziemlich gut, obwohl die Ableitung im obigen Kapitel einige Arbeit erfordert (allerdings nicht zu schwer) - eine schöne Illustration, dass die Essenz von MLE im Argmax liegt (natürlich!). eher als die Ableitung (wie Sie betonten, und ich stimme voll und ganz zu, kam mir der Gedanke, vor dem "üblichen" Ableitungsschritt zu arbeiten (dh ich mache mir nur Sorgen um die Maximierung, mit welchen Mitteln auch immer), aber ich verfolgte sie nicht).
Frank
1
xi