Alternativen zum multinomialen Logit-Modell

8

Ich versuche, ein Modell der Berufswahl mit drei Wahlmöglichkeiten abzuschätzen. Gibt es Alternativen zur Verwendung der multinomialen logistischen Regression beim Umgang mit solchen ungeordneten kategorialen Ergebnissen?

Beim Umgang mit binär abhängigen Variablen scheint es mehrere Möglichkeiten zu geben, wie das LPM-Modell sowie das binäre Probit- und Logit-Modell. Beim Umgang mit ungeordneten kategorialen Variablen wird in der Literatur jedoch weiterhin das multinomiale Logit-Modell empfohlen, ohne es mit Alternativen zu vergleichen.

Thor
quelle
1
Fragen Sie nur, ob für den multinomialen Fall alternative Verknüpfungsfunktionen (außer dem Logit) verfügbar sind? Oder fragen Sie über die verschiedenen Arten von Modellen (wie Wagen - Modelle)? Oder vielleicht noch etwas? (Randnotiz, wenn die erste, könnte es Ihnen helfen, meine Antwort hier zu lesen: Unterschied zwischen Logit- und Probit-Modellen , um allgemeine Informationen zu diesem Problem zu erhalten, obwohl es in einem etwas anderen Kontext geschrieben wurde.)
gung - Stellen Sie Monica wieder her
Vielen Dank für den Kommentar. Ich werde auf jeden Fall den Link nachlesen. Ich frage mich hauptsächlich, ob es Alternativen gibt, die gewöhnliche lineare Regression (OLS) verwenden, um ungeordnete kategoriale Ergebnisse zu behandeln. Kennen Sie solche Alternativen? Wenn es um binäre Ergebnisse geht, scheint es eine ganze Diskussion darüber zu geben, ob OLS- oder binäre Logit / Probit-Modelle verwendet werden sollen.
Thor
In erster Näherung sollte OLS niemals für binäre Ergebnisse verwendet werden. Ich bin sicher, dass es multinomiale Regressionsalgorithmen gibt oder geben könnte, die alternative Verknüpfungsfunktionen verwenden, aber ich weiß nicht, ob große Software sie unterstützt.
Gung - Reinstate Monica
1
Ich bin mir nicht sicher, was du mit erster Annäherung meinst (sorry, ich bin ein Neuling). Es scheint jedoch einige prominente Ökonomen zu geben, die argumentieren, dass die Verwendung eines LPM-Modells sowie des Logit-Modells zur Schätzung der binären Ergebnisse funktioniert. Zumindest Angrist und Pischke tun dies in ihrem Buch "Meist harmlose Ökonometrie" (2009). Haben Sie einen Tipp, wo ich mich über solche alternativen Linkfunktionen informieren kann? Nochmals vielen Dank für Ihr Feedback!
Thor
1
"In erster Näherung ... niemals ..." bedeutet, dass Sie in 99% der Fälle OLS nicht mit einem binären Ergebnis verwenden sollten. Ich bin mir bewusst, dass es einige Fälle gibt, in denen es weniger wichtig ist und dass einige Leute mit den Standardempfehlungen nicht einverstanden sind - deshalb habe ich nicht einfach „nie“ ohne die Hecken gesagt. Leider kenne ich keinen guten Ort, um mich über die Verwendung alternativer Linkfunktionen mit multinomialer Regression zu informieren.
Gung - Reinstate Monica

Antworten:

3

Für die Modellierung multinomialer Modelle stehen verschiedene Modelle zur Verfügung.

Ich empfehle Cameron & Trivedi Microeconometrics Using Stata für eine einfache und hervorragende Einführung oder werfen Sie einen Blick auf die Imbens & Wooldridge Lecture Slides oder hier, die online verfügbar sind.

Zu den weit verbreiteten Modellen gehören:

multinomiale logistische Regression oder mlogit in Stata

multinomiales bedingtes Logit (ermöglicht die einfache Einbeziehung nicht nur individueller, sondern auch wahlspezifischer Prädiktoren) oder Asclogit in Stata

verschachteltes Logit (Lockerung der Unabhängigkeit von der Annahme irrelevanter Alternativen (IIA) durch hierarchische Gruppierung / Rangfolge) oder nlogit in Stata

Mixed Logit (lockert die IIA-Annahme, indem z. B. normalverteilte Parameter angenommen werden) oder Mixlogit in Stata.

Multinomiales Probit-Modell (kann die IIA-Annahme weiter lockern, aber Sie sollten wahlspezifische Prädiktoren zur Verfügung haben) Mixed Logit (lockert die IIA-Annahme unter der Annahme, dass z. B. normalverteilte Parameter vorliegen ), verwenden Sie asmprobit in Stata (mprobit erlaubt jedoch keine wahlspezifischen Prädiktoren, aber Sie sollten sie verwenden , um die IIA Asumption zu entspannen )

Arne Jonas Warnke
quelle
1
β
Ja natürlich, danke, siehe Wikipedia für eine Erklärung: https://en.wikipedia.org/wiki/Mixed_logit
Arne Jonas Warnke
2

Wenn Sie Optionen wünschen, die sich von einer logistischen Regression deutlich unterscheiden, können Sie ein neuronales Netz verwenden. Zum Beispiel hat das nnetPaket von R eine multinomFunktion. Oder Sie könnten einen zufälligen Wald verwenden (Rs randomForestPaket und andere). Und es gibt mehrere andere Alternativen für maschinelles Lernen, obwohl Optionen wie eine SVM in der Regel nicht gut kalibriert sind, wodurch ihre Ergebnisse meiner Meinung nach einer logistischen Regression unterlegen sind.

[Tatsächlich wird wahrscheinlich ein Logit unter der Haube von den Neuronen im neuronalen Netz verwendet. Es ist also ganz anders, aber nicht ganz anders zur gleichen Zeit.]

Wayne
quelle
+1. Nur um ein paar Punkte zu erläutern ... SVMs können nach dem Training kalibriert werden, um gute Wahrscheinlichkeiten zu erhalten (z. B. Platt-Skalierung oder isotonische Regression auf Kosten eines zusätzlichen Schritts). Neuronale Netze mit Softmax-Ausgängen (und jede Art von nichtlinearer Aktivierungsfunktion in den verborgenen Schichten) können als gleichzeitiges Lernen einer nichtlinearen Abbildung in einen Merkmalsraum und Durchführen einer multinomialen logistischen Regression in diesem Merkmalsraum angesehen werden.
user20160
@ Wayne; Ich frage mich, dass für die multinomiale Protokollierung eine IIA-Annahme erforderlich ist. aber über etwa neuronales Netzwerk mit Softmax-Aktivierung? Erfordert es auch die gleiche Annahme?
ElleryL
0

Denken Sie auch, dass für neuronale Netze (mit Softmax-Aktivierung), Entscheidungsbäume (oder zufällige Wälder) die IIA-Annahme nicht erfüllt sein muss, da diese Tests zur Überprüfung der IIA-Annahme unzuverlässig sind. Dies könnte also ein Vorteil gegenüber der multinomialen Logistik sein, wenn es nur um Vorhersagen geht.

Alternativ können mehrere Logistikmodelle für die K-1-Kategorien mit der K-ten Kategorie als Referenz erstellt werden. Dies ermöglicht auch das Einstecken verschiedener Prädiktoren für jede der Gleichungen im Gegensatz zum Multinom

SrikanthRaja
quelle
1
Dies ist eher ein Kommentar als eine Antwort. Wir können Ihre Antwort entweder in einen Kommentar umwandeln oder Sie können Ihre Antwort erweitern.
Ferdi
Können Sie erklären, warum neuronale Netze (mit Softmax-Aktivierung) die IIA-Annahme nicht erfordern? nach diesem, en.wikipedia.org/wiki/Luce%27s_choice_axiom glaube ich Neural Nets (mit softmax Aktivierung) gleiche Restriktions hat
ElleryL