Müssen wir wirklich alle relevanten Prädiktoren einbeziehen?

15

Eine Grundannahme bei der Verwendung von Regressionsmodellen zur Inferenz ist, dass "alle relevanten Prädiktoren" in die Prädiktionsgleichung einbezogen wurden. Der Grund dafür ist, dass die Nichteinbeziehung eines wichtigen Faktors aus der realen Welt zu verzerrten Koeffizienten und damit zu ungenauen Schlussfolgerungen führt (dh eine variable Verzerrung wird weggelassen).

Aber in der Forschungspraxis habe ich noch nie jemanden gesehen, der etwas enthält, das "allen relevanten Prädiktoren" ähnelt . Viele Phänomene haben eine Vielzahl wichtiger Ursachen, und es wäre sehr schwierig, wenn nicht unmöglich, sie alle zu berücksichtigen. Ein einfaches Beispiel ist die Modellierung von Depressionen als Folge: Niemand hat etwas in die Nähe eines Modells gebracht, das "alle relevanten Variablen" enthält: z. etc...

Darüber hinaus würde die Anpassung eines solch komplexen Modells zu äußerst instabilen Schätzungen führen, sofern nicht sehr große Stichprobengrößen vorliegen.

Meine Frage ist sehr einfach: Ist die Annahme / der Ratschlag, "alle relevanten Prädiktoren einzuschließen", nur etwas, was wir "sagen", aber niemals wirklich bedeuten? Wenn nicht, warum geben wir dann einen konkreten Modellierungshinweis?

Und bedeutet dies, dass die meisten Koeffizienten wahrscheinlich irreführend sind? (z. B. eine Studie zu Persönlichkeitsfaktoren und Depressionen, bei der nur mehrere Prädiktoren verwendet werden). Mit anderen Worten, wie groß ist das Problem für die Schlussfolgerungen unserer Wissenschaften?

ATJ
quelle
6
Eine Version dieses Arguments tobte im gesamten 19. Jahrhundert in den Bereichen Psychologie, Ökonomie und Sozialwissenschaften. Wissenschaftler argumentierten, dass statistische Methoden für Menschen und soziale Systeme nicht anwendbar seien, weil die Menschen zu vielfältig und komplex seien. Am Ende dieses Jahrhunderts setzte sich der Nutzen gegen die Philosophie durch: Auch wenn wir nicht alle Prädiktoren einbeziehen, können wir noch viel lernen. Die Aufnahme von "relevant" in die Titelphrase ist weise.
whuber

Antworten:

18

Y.

Es ist interessant, dass beim normalen linearen Modell weggelassene Kovariaten, insbesondere wenn sie orthogonal zu eingeschlossenen Kovariaten sind, nur als Vergrößerung des Fehlerterms angesehen werden können. In nichtlinearen Modellen (Logistik, Cox, viele andere) kann das Weglassen von Variablen die Auswirkungen aller im Modell enthaltenen Variablen beeinflussen (z. B. aufgrund der Nichtkollabierbarkeit des Quotenverhältnisses).

Frank Harrell
quelle
Vielen Dank für die hilfreichen Informationen. Abgesehen von der Beurteilung der Behandlungseffekte möchte ich mehr über die pragmatischen Auswirkungen dieses Problems fragen. Wenn Sie ein Papier durchgesehen und wichtige Prädiktoren ausgelassen hätten, könnte dies ein Grund für die Ablehnung sein? Ich frage dies, weil a.) Ich noch nie davon gehört habe und b.) Sozialwissenschaftler oft NUR die Prädiktoren einbeziehen, über die sie mehr wissen möchten (dh das Thema der Studie) und "bereits bekannte" Faktoren vernachlässigen ( basierend auf der Notwendigkeit einer effizienteren Messung).
ATJ
Zum Beispiel ist es nicht ungewöhnlich, ein latentes Variablenmodell mit nur einem SINGLE-Prädiktor für eine endogene Variable zu sehen. Spricht dies für die Lücke zwischen dem Bereich Statistik und seiner Umsetzung in aktuellen Themenbereichen?
ATJ
6
Das tut es wahrscheinlich. Zu den Ablehnungsgründen für die frühere Frage gehört das Weglassen wichtiger Variablen, deren Einbeziehung eine andere Interpretation der einbezogenen Variablen ergeben hätte oder die das Modell drastisch verändert hätten. Ich habe einmal einen Artikel über das Lungenkrebsrisiko besprochen, der nur verfügbar war, ob ein Proband jemals geraucht hatte oder nicht, und die Autoren haben nicht versucht, die Dosis des Rauchens (z. B. Packungsjahre) zu bestimmen. Ich empfahl die völlige Ablehnung.
Frank Harrell
9

Ja, Sie müssen alle "relevanten Variablen" einschließen, aber Sie müssen klug sein. Sie müssen sich überlegen, wie Sie die Experimente konstruieren können, mit denen Sie die Auswirkungen Ihres Phänomens von nicht verwandten Themen abgrenzen können. Bevor Sie in die Statistik einsteigen, müssen Sie das Schwergewicht in Ihrer Domäne und nicht in der Statistik ausführen.

Ich ermutige Sie, nicht zynisch zu sein, wenn Sie alle relevanten Variablen einbeziehen, weil dies nicht nur ein nobles Ziel ist, sondern auch, weil es oft möglich ist. Wir sagen das nicht nur, um es zu sagen. Wir meinen es wirklich so. Das Entwerfen von Experimenten und Studien, die in der Lage sind, alle relevanten Variablen einzuschließen, macht die Wissenschaft wirklich interessant und unterscheidet sich von "Experimenten" mit mechanischen Kesselplatten.

Um meine Aussage zu begründen, gebe ich Ihnen ein Beispiel dafür, wie Galileo die Beschleunigung untersucht hat. Hier ist seine Beschreibung eines tatsächlichen Experiments (von dieser Webseite ):

Ein Stück Holz, etwa 12 Ellen lang, eine halbe Elle breit und drei Fingerbreiten dick, wurde genommen; an seinem Rand war ein Kanal von etwas mehr als einem Finger Breite geschnitten; Nachdem wir diese Rille sehr gerade, glatt und poliert gemacht und sie mit Pergament ausgekleidet hatten, auch so glatt und poliert wie möglich, rollten wir eine harte, glatte und sehr runde Bronzekugel entlang. Nachdem wir dieses Brett in eine geneigte Position gebracht hatten, indem wir ein Ende um ein oder zwei Ellen übereinander hoben, rollten wir den Ball, wie ich gerade sagte, entlang des Kanals und notierten auf eine Art und Weise, die gerade beschrieben wird, die benötigte Zeit den Abstieg machen. Wir haben dieses Experiment mehrmals wiederholt, um die Zeit mit einer Genauigkeit zu messen, bei der die Abweichung zwischen zwei Beobachtungen niemals ein Zehntel eines Pulsschlags überschritt. Nachdem wir diese Operation durchgeführt und uns von ihrer Zuverlässigkeit überzeugt hatten, rollten wir den Ball nur noch ein Viertel der Länge des Kanals. und nachdem wir die Zeit ihres Abstiegs gemessen hatten, fanden wir genau die Hälfte davon. Als nächstes versuchten wir es mit anderen Entfernungen, verglichen die Zeit für die gesamte Länge mit der für die Hälfte oder mit der für zwei Drittel oder drei Viertel oder in der Tat für einen Bruchteil; In solchen Experimenten, die hundertmal wiederholt wurden, stellten wir immer fest, dass die durchquerten Räume wie die Quadrate der Zeit zueinander waren, und dies galt für alle Neigungen der Ebene, dh des Kanals, entlang dem wir den rollten Ball. Wir beobachteten auch, dass die Abstiegszeiten für verschiedene Neigungen der Ebene genau das Verhältnis zueinander hatten, das, wie wir später sehen werden,

Für die Zeitmessung verwendeten wir ein großes Wassergefäß in erhöhter Position; Auf den Boden dieses Gefäßes wurde ein Rohr mit kleinem Durchmesser gelötet, das einen dünnen Wasserstrahl ergab, den wir während des Abstiegs in einem kleinen Glas sammelten, sei es über die gesamte Länge des Kanals oder über einen Teil seiner Länge; das so gesammelte Wasser wurde nach jedem Abstieg auf einer sehr genauen Waage gewogen; Die Unterschiede und Verhältnisse dieser Gewichte gaben uns die Unterschiede und Verhältnisse der Zeit wieder, und dies mit einer solchen Genauigkeit, dass, obwohl die Operation viele, viele Male wiederholt wurde, es keine nennenswerte Diskrepanz in den Ergebnissen gab.

d=Gt2,
dGtd0=1t0 . Er fuhr fort, 100 Messungen bei verschiedenen durchzuführendich mal messen tich. Dann rechnete erd0/dich und t02/tich2. Wenn sein Modell Recht hätte, hättest du es
d0dich=t02tich2
.

Achten Sie darauf, wie er die Zeit gemessen hat. Es ist so grob, dass es mich daran erinnert, wie unnatürliche Wissenschaften heutzutage ihre Variablen messen und an "Kundenzufriedenheit" oder "Nützlichkeit" denken. Er erwähnt, dass der Messfehler übrigens innerhalb einer zehnten Zeiteinheit lag.

Hat er alle relevanten Variablen einbezogen? Ja er hat. Jetzt muss man verstehen, dass alle Körper durch die Schwerkraft voneinander angezogen werden. Um also theoretisch die exakte Kraft auf den Ball zu berechnen, muss jeder Körper im Universum zur Gleichung hinzugefügt werden. Viel wichtiger ist, dass er Oberflächenwiderstand, Luftwiderstand, Drehimpuls usw. nicht mit einbezog. Haben diese alle seine Messungen beeinflusst? Ja. Sie waren jedoch für das, was er studierte, nicht relevant, da er in der Lage war, ihre Auswirkungen zu verringern oder zu beseitigen, indem er die Auswirkungen der Eigenschaft, die er studierte, isolierte.

Nun, würden Sie sagen, dass sein Koeffizient (genau 2 für t2) war irreführend, weil er "Luftdruck- und Temperaturänderungen zwischen den Experimenten nicht kontrollierte"? Nein. Trotz aller Probleme und Einschränkungen konnte er das große Bewegungsgesetz, das bis heute für wahnsinnige Präzision gilt, korrekt aufstellen! Dies gelang ihm ohne Statistikpakete und Computer, da er ein großartiges Experiment so gestaltete, dass der statistische Teil trivial und nahezu irrelevant wurde. Das ist die Ideensituation, die Sie sein möchten.

Aksakal
quelle
Was ist so grob an seiner Methode der Zeitmessung? Das Setup hat eine bestimmte Rate, mit der Wasser das große Gefäß verlässt und in die Tasse eintritt. vorausgesetzt, das Gefäß enthält eine große Menge Wasser, ändert sich diese Rate minimal. Noch wichtiger ist, dass es experimentell konsistent bleibt. Es ist eine sehr elegante Methode, da sie damals keine Stoppuhren und keine ausgefallenen automatischen Timer hatten.
JAB
@JAB, es ist natürlich nur im Vergleich zu Stoppuhr oder modernen Methoden zur Zeitmessung grob. Sie haben absolut Recht, dass es angesichts des Standes der Zeitmessung in Galileos Tagen sehr elegant ist. Der Punkt, den ich
ansprach
@JAB, eines meiner Lieblingsbeispiele für lächerliche Messmethoden in der Physik ist, wie Cherenkov seine Strahlung entdeckte . Er saß in einem dunklen Raum, bis sich seine Augen an die Dunkelheit gewöhnt hatten, dann öffnete oder schloss er das Loch mit Licht, bis das Licht verschwand. Er würde aufzeichnen, wie viel von einem Loch offen war, um den Strahlungspegel zu erfassen. Anscheinend kann das menschliche Auge den in einer Handvoll Photonen gemessenen Lichtunterschied feststellen! Das Papier ist 3 Seiten lang.
Aksakal
6

Damit die Annahmen des Regressionsmodells perfekt gelten, müssen alle relevanten Prädiktoren einbezogen werden. Aber keine der Annahmen in einer statistischen Analyse ist perfekt und ein Großteil der statistischen Praxis basiert auf "Close Enough".

Bei der Konzeption von Experimenten und der richtigen Randomisierung kann der Effekt von Begriffen, die nicht in den Modellen enthalten sind, häufig ignoriert werden (bei gleicher Wahrscheinlichkeit der Randomisierung). Eine Regression wird jedoch normalerweise verwendet, wenn eine vollständige Randomisierung nicht möglich ist, um alle möglichen Variablen zu berücksichtigen, die nicht im Modell enthalten sind. Daher wird Ihre Frage wichtig.

In so gut wie jedem jemals passenden Regressionsmodell fehlen wahrscheinlich einige potenzielle Prädiktoren, aber "Ich weiß nicht" ohne weitere Klärung würde es arbeitenden Statistikern nicht ermöglichen, weiterzuarbeiten. Deshalb versuchen wir unser Bestes und dann herauszufinden, wie groß der Unterschied ist zwischen den Annahmen und der Realität werden unsere Ergebnisse beeinflussen. In einigen Fällen ist der Unterschied zu den Annahmen sehr gering, und wir machen uns keine großen Sorgen um den Unterschied, in anderen Fällen kann er jedoch sehr schwerwiegend sein.

Eine Option, wenn Sie wissen, dass das Modell möglicherweise keine relevanten Prädiktoren enthält, ist die Durchführung einer Sensitivitätsanalyse. Dies misst, wie viel Verzerrung basierend auf potenziellen Beziehungen zu den nicht gemessenen Variablen möglich wäre. Dieses Papier:

Lin, DY und Psaty, BM und Kronmal, RA. (1998): Bewertung der Empfindlichkeit von Regressionsergebnissen gegenüber nicht gemessenen Störfaktoren in Beobachtungsstudien. Biometrics, 54 (3), Sep., S. 948–963.

gibt einige Werkzeuge (und Beispiele) für eine Sensitivitätsanalyse.

Greg Snow
quelle