Quantile Regression vs OLS für Homoskedastizität

8

Ich habe eine Frage zum Steigungskoeffizienten von OLS im Vergleich zu dem für die Quantilregression, wenn homoskedastische Fehlerterme auftreten. Das Bevölkerungsmodell könnte folgendermaßen aussehen:

yich=β0+β1xich+uich

wobei iid Fehlerbegriffe sind. Konvergiert der geschätzte Steigungskoeffizient für OLS und für QR für verschiedene Quantile gegen denselben Wert ? Während die Stichprobenschätzungen durchaus voneinander abweichen können.uichβ^1β1β^1

In Anbetracht der Konvergenz der QR-Schätzer weiß ich, dass bei Vorhandensein von Homoskedastizität alle Steigungsparameter für verschiedene Quantilregressionen auf denselben Wert konvergieren (wie von Koenker 2005: 12 gezeigt). Ich bin mir jedoch nicht sicher, wie sich die Konvergenz des OLS-Koeffizienten mit der des mittleren QR-Koeffizienten (LAD) . Gibt es einen Beweis dafür, dass beide zum gleichen Wert konvergieren? Meine Intuition sagt mir, dass dies der Fall sein sollte.β1β1(0,5)

Die Antwort liegt wahrscheinlich in den Verlustfunktionen für OLS und QR. OLS minimiert quadratische Residuen, während QR (für den Median) absolute Abweichungen minimiert. Da Fehler quadriert werden, legt OLS im Gegensatz zu QR mehr Gewicht auf Ausreißer. Aber sollten sich Ausreißer bei Homoskedastizität nicht gegenseitig aufheben, weil positive Fehler genauso wahrscheinlich sind wie negative, wodurch OLS und der mittlere QR-Steigungskoeffizient äquivalent werden (zumindest in Bezug auf die Konvergenz)?

Update
Um die Vorhersage zu testen, dass für die Homoskedastizität die Steigungskoeffizienten für verschiedene Quantile äquivalent sind, habe ich einen Test in stata durchgeführt. Dies geschieht nur, um das zuvor erwähnte Ergebnis von Koenker (2005) zu bestätigen. Die ursprüngliche Frage betrifft die Konvergenz von OLS im Vergleich zu QR. Ich habe n = 2000 Beobachtungen mit Stata erstellt über:

set obs 2000  
set seed 98034  
generate u = rnormal(0,8)  
generate x = runiform(0,50)
generate y = 1 + x + u

Für diese Stichprobe führte ich eine QR-Regression für die Quantile (0,10, 0,50, 0,90) durch und testete dann die gemeinsame Hypothese, dass der Steigungskoeffizient für die drei Quantile identisch ist, dh:

H.0::β1(0,1)=β1(0,5)=β1(0,9)

Dies ist der entsprechende Statistikcode:

sqreg y x, quantile(.1, .5, .9) reps(400)
test [q10=q50=q90]: x

Die Beweise waren überwältigend, der H0 konnte sehr stark nicht abgelehnt werden. Ausgabe für den Wald-Test:

F(  2,  1998) =    0.79
Prob > F =    0.4524

Dies bestätigte meine Gedanken, gibt aber keine theoretische Anleitung, ob dies immer zu erwarten ist.

Tartanblätter
quelle
Ich bin verwirrt von Ihrer Problemformulierung. Die Punktschätzungen sind unterschiedlich, Zeitraum. Die Schätzer sind jedoch konsistent, sodass sie in immer größeren Stichproben konvergieren. Welche Bedeutung hat Ihr Hypothesentest? Sie testen, ob Schätzungen (einige Funktionen der Beispieldaten ) irgendwie nicht unterscheidbar sind. Aber normalerweise testen wir die Hypothese über die Populationsparameter . Wir wissen bereits alles über die Probe, wenn wir jeden Datenpunkt darin beobachten. Ich verstehe nicht, was Sie erreichen wollen.
Richard Hardy
1
Vielen Dank für Ihre Bemerkungen, meine Frage war wirklich nicht klar genug. Ich habe der Frage jetzt den Schwerpunkt auf Konvergenz hinzugefügt.
Tartan verlässt
Aber inwieweit ist die Bedeutung des Hypothesentests unklar? Wenn die Steigungskoeffizienten für QR für verschiedene Quantile gegen denselben Wert konvergieren sollten, sollte dies dann nicht zu unbedeutenden Abweichungen vom Steigungsparameter untereinander führen? Was wird durch den Wald-Test bestätigt? Beachten Sie jedoch, dass dies eigentlich nur eine Ablenkung ist, da meine ursprüngliche Frage die Konvergenz von QR im Vergleich zur Konvergenz von OLS betreffen würde.
Tartan verlässt
Ich versuche zu sagen, dass Ihre Nullhypothese zumindest für mich keinen Sinn ergibt. Könnten Sie es explizit ausschreiben? In Bezug auf die Konvergenz zum gleichen Wert ist dies bereits in meiner Antwort. Beachten Sie, dass zwei verschiedene Schätzer, die konsistent sind, auf denselben Wert konvergieren. Wenn sie zu unterschiedlichen Werten konvergieren würden, wäre mindestens einer von ihnen inkonsistent.
Richard Hardy
Ich habe den H0 jetzt explizit aufgeschrieben. Wie sicher sind Sie, dass LAD und OLS auf den gleichen Wert konvergieren? Sie schreiben in Ihrer Antwort, dass "Sie raten" sie werden.
Tartan verlässt

Antworten:

5

Wird der geschätzte Steigungskoeffizient für OLS und für QR für verschiedene Quantile immer gleich sein?β1

Nein, natürlich nicht, da die zu minimierende empirische Verlustfunktion in diesen verschiedenen Fällen unterschiedlich ist (OLS vs. QR für verschiedene Quantile).

Mir ist klar, dass bei Vorhandensein von Homoskedastizität alle Steigungsparameter für verschiedene Quantilregressionen gleich sind und dass sich die QR-Modelle nur im Achsenabschnitt unterscheiden.

Nein, nicht in endlichen Stichproben. Hier ist ein Beispiel aus den Hilfedateien des "quantreg" -Pakets in R:

library(quantreg)
data(stackloss)
rq(stack.loss ~ stack.x,tau=0.50) #median (l1) regression fit for the stackloss data.
rq(stack.loss ~ stack.x,tau=0.25) #the 1st quartile

Asymptotisch konvergieren sie jedoch alle zum gleichen wahren Wert.

Aber sollten sich Ausreißer bei Homoskedastizität nicht gegenseitig aufheben, weil positive Fehler genauso wahrscheinlich sind wie negative, wodurch OLS und der mittlere QR-Steigungskoeffizient äquivalent werden?

Erstens ist eine perfekte Fehlersymmetrie in keiner endlichen Stichprobe garantiert. Zweitens führt das Minimieren der Summe von Quadraten gegenüber absoluten Werten im Allgemeinen zu unterschiedlichen Werten, selbst bei symmetrischen Fehlern.

Richard Hardy
quelle
Aus Ihrem Kommentar geht hervor, wie wichtig es ist, zwischen Konvergenz- und endlichen Stichprobeneigenschaften zu unterscheiden. In Bezug auf den zweiten Teil Ihrer Antwort gibt es jedoch zwei Dinge, die mir unklar sind. Erstens bin ich mir ziemlich sicher, dass die Steigungsparameter für verschiedene Quantilregressionen unter Homoskedastizität tatsächlich gleich sein sollten. Ich nehme diese Gewissheit von Koenker (2005: 12), der genau dasselbe Modell wie ich vorstellte: "Quantilfunktionen sind einfach eine vertikale Verschiebung voneinander undβ^(τ) schätzt die Populationsparameter (β0+F.- -1(τ),β1). "
Tartan verlässt
Zweitens in Bezug auf die Äquivalenz von QR- und OLS-Koeffizienten. Sagen Sie, dass OLS und LAD asymptotisch auf den gleichen wahren Wert konvergieren werden, wenn wir Homoskedastizität haben? Damit in endlichen Proben die 2 möglicherweise nicht äquivalent ist, aber für Probengrößen, die gegen unendlich konvergieren, sind die 2 tatsächlich äquivalent, wiederum unter der Annahme der Homoskedastizität?
Tartan verlässt
@TartanLeaves, zu Kommentar 1: Versuchen Sie, zwei Quantilregressionen für denselben Datensatz, jedoch für unterschiedliche Quantile, zu schätzen, und Sie werden selbst feststellen, dass die resultierenden Schätzungen unterschiedlich sind. Das ist einfach zu machen. Zu Kommentar Nr. 2: Ja. Mit anderen Worten, beide sind konsistent, unterscheiden sich jedoch in endlichen Stichproben.
Richard Hardy
@TartanLeaves, ich habe meine Antwort so bearbeitet, dass sie ein Beispiel enthält.
Richard Hardy
Ich habe meine ursprüngliche Frage so bearbeitet, dass sie ein Statistikergebnis enthält. Eigentlich habe ich dieses Experiment schon gestern durchgeführt.
Tartan verlässt
1

Im Allgemeinen lautet die Antwort ja, zumindest für Theils Regression, die ein Sonderfall der QR ist. Der Steigungsschätzer für Theils Regression ist ein unvoreingenommener Schätzer der Populationssteigung. Wenn alle Anforderungen für OLS erfüllt sind, liegt die relative Effizienz bei 85%. Unter bestimmten Umständen wird es relativ gesehen effizienter als die kleinsten Quadrate.

Wenn Sie nicht mit einer unendlichen Datenmenge herum sitzen, sondern stattdessen eine kleine Stichprobe haben, gibt es viele Stellen, an denen dies vorzuziehen wäre. Schräglauf und Abschneiden, indem negative Werte nicht zugelassen werden, können einen starken Einfluss auf OLS und wenig bis gar keinen Einfluss auf Theils Methode haben.

Dave Harris
quelle
Wie ist die relative Effizienz definiert? Wie ist das Verhältnis der asymptotischen Varianzen der Schätzer? Kommt es nicht auf die Fehlerverteilung an (nichts in den "Anforderungen für OLS" gibt eine Fehlerverteilung an)? (ZB hängt die relative Effizienz des QR zu OLS von der Fehlerverteilung ab.) Ist Theils Regression auch wirklich ein Sonderfall des QR? (Hätten Sie eine Referenz?)
Richard Hardy
Ich bin gerade umgezogen und irgendwo begraben. Ich habe Originalartikel sowohl von Theil als auch von Pranab Sen. Ich habe auch nicht parametrische und verteilungsfreie Lehrbücher in Kisten vergraben. Theil schrieb vier Artikel, die zu zwei Superartikeln zusammengefasst wurden, die Teil des Konferenzprotokolls waren, in der Royal Academy of Sciences in Dänemark oder Holland. Er präsentierte auch nicht wirklich, jemand präsentierte für ihn, da er abwesend sein musste. Pranab Sen schreibt allgemein über Schätzer auf Medianbasis. Ich glaube, Theil ist 1950 und Sen ist 1968. Sein war entweder in JASA oder Econometrica.
Dave Harris
Als Grenzfall der Quantilregression stammt es aus einem roten Buch, das ich über verteilungsfreie Methoden habe. Auf der Titelseite befinden sich weiße Grafiken. Es ist nicht Kendalls Arbeit. Es könnte von Sprent sein. Bei den 85% wird eine vollkommene Normalität angenommen. Das ist von Sen. DIerente Verteilungen enden mit unterschiedlichen relativen Wirkungsgraden. Ich glaube, es ist das Verhältnis der asymptotischen Varianzen.
Dave Harris
Entschuldigung, ich habe ein seltsames Gedächtnis für Dinge. Ich kann Ihnen sogar eine der anderen nichtparametrischen Methoden nennen, die von Sen behandelt werden, aber nicht die andere. Ich kann dir nicht sagen, in welcher Box in meinem Keller die noch zu öffnende Box ist. Ich erinnere mich an Albumcover, aber nicht an Band- oder Songnamen. Oder ich erinnere mich an Texte, kann mich aber nicht erinnern, wer das Lied gesungen hat. Wenn meine Kartons ausgepackt sind, werde ich versuchen, daran zu denken, zu diesem Beitrag zurückzukehren und ihn zu aktualisieren. Ich kann mich an das JSTOR-Bild für Sens Artikel auf der Titelseite erinnern, aber nicht an die beiden von Theil, die möglicherweise nicht über JSTOR gekommen sind.
Dave Harris
1
Vielen Dank für Ihre Antwort, @ user25459! Wie @Richard Hardy bereits erwähnt hat, bin ich mir auch nicht sicher, inwieweit Theils Regression - ich denke, Sie beziehen sich auf die Methode "Median der paarweisen Steigungen" - als Sonderfall der QR angesehen werden würde, wie Sie sagen. Ich hatte noch nie davon gehört und in Koenkers (2005) Monographie "Quantile Regression" wird es nur in einem Satz erwähnt.
Tartan verlässt