So berechnen Sie den Achsenabschnitt und den Koeffizienten bei der logistischen Regression manuell

9

Ich studiere derzeit über logistische Regression. Aber ich bleibe bei der Berechnung des Abschnitts ( ) und des Koeffizienten ( β 1 ) stecken . Ich habe über das Internet danach gesucht, aber nur Tutorials mit Microsoft Excel oder integrierten Funktionen in R erhalten. Ich habe gehört, dass es durch Maximum Likelihood gelöst werden kann, aber ich verstehe nicht, wie ich es verwenden soll, weil ich es nicht tue Ich habe keinen statistischen Hintergrund. Kann mir jemand eine kurze Erklärung und Simulation für die manuelle Berechnung der Koeffizienten geben?β0β1

Kadek Dwi Budi Utama
quelle
Verstehst du Optimierung im Allgemeinen? Wie das Minimum oder Maximum einer Funktion finden?
Wahrscheinlichkeitslogik
1
Ich wünschte wirklich, mehr Leute würden solche Fragen stellen.
Maddenker

Antworten:

9

Leider gibt es im Gegensatz zur linearen Regression keine einfache Formel für die maximale Wahrscheinlichkeitsschätzung der logistischen Regression. Sie müssen eine Art Optimierungsalgorithmus ausführen, z. B. Gradientenabstieg oder iterativ neu gewichtetes kleinstes Quadrat .

Dougal
quelle
4
Das ist im Allgemeinen wahr. Eine Ausnahme liegt vor, wenn die einzige erklärende Variable kategorisch ist oder wenn alle erklärenden Variablen kategorisch sind und alle Interaktionen (höherer Ordnung) im Modell enthalten sind. In diesem Fall sind die Koeffizienten Transformationen der Mittelwerte.
Maarten Buis
Hast du eine Quelle dafür?
information_interchange
3

Ich möchte meine Methode vorschlagen und hoffe, dass sie hilft.

E.pfj=E.p^fj

Nehmen wir zum Beispiel die Kreuztabelle unten, wie viele Männer / Frauen in der Ehrenklasse sind.

           |         female
       hon |      male     female |     Total  
-----------+----------------------+----------
         0 |        74         77 |       151 
         1 |        17         32 |        49 
-----------+----------------------+----------
     Total |        91        109 |       200

ichyichxichj=ichpichxichj

lÖG(p1- -p)=β0+β1xichp=11+e- -(β0+β1xich)xichX.=1X.=0

32109=11+e- -(β0+β11)

1791=11+e- -(β0+β10)

β0β1

In diesem Sinne können Sie die Koeffizienten anderer logistischer Regressionsmodelle manuell berechnen (dies gilt auch für die Softmax-Regression, ist jedoch nicht Gegenstand dieser Frage), wenn genügend Daten angegeben sind.

Ich hoffe ich habe recht, wenn nicht, lass es mich wissen. Vielen Dank.

Lerner Zhang
quelle
Kann mir jemand sagen, warum ich eine Ablehnung bekomme? Vielen Dank.
Lerner Zhang
3
Ich bin nicht der Downvote, also kann ich nicht sicher sagen. Aber ich denke, Sie könnten Ihre Antwort verbessern, indem Sie 1) Ihre Berechnungen auf das Maximum-Likelihood-Problem beziehen, das durch logistische Regression gelöst wird, 2) erklären, warum genau dieses Beispiel von Hand bearbeitet werden kann, andere jedoch nicht, 3) die Regression mithilfe eines iterativen Algorithmus anpassen und zeigt, dass die Antwort die gleiche ist.
Matthew Drury
@MatthewDrury Ich habe meine Antwort nach einigem Graben aktualisiert. Bitte prüfe.
Lerner Zhang
Hey @Lerner Sie müssen multiplizieren 1 / (1 + e (β0 + β1 * 1)) 32 mal und 1 / (1 + e (β0 + β1 * 0)) 17 mal. Nicht nur mit einfachen Zusätzen wie 32/109.
Aerin
@ BYOR OK, ich werde es bald überprüfen und aktualisieren.
Lerner Zhang