Logistische Regression oder T-Test?

17

Eine Gruppe von Personen beantwortet eine Frage. Die Antwort kann "Ja" oder "Nein" sein. Der Forscher möchte wissen, ob das Alter mit der Art der Antwort zusammenhängt.

Die Assoziation wurde durch eine logistische Regression bewertet, bei der das Alter die erklärende Variable und die Art der Antwort (Ja, Nein) die abhängige Variable ist. Es wurde separat angesprochen, indem das Durchschnittsalter der Gruppen berechnet wurde, die mit "Ja" bzw. "Nein" geantwortet hatten, und indem ein T- Test durchgeführt wurde, um die Mittelwerte zu vergleichen.

Beide Tests wurden auf Anweisung verschiedener Personen durchgeführt, und keiner von beiden ist sich sicher, welcher Weg der richtige ist. Welcher Test wäre angesichts der Fragestellung der bessere?

Für die Hypothesentests waren die p-Werte nicht signifikant (Regression) und signifikant (T-Test). Die Stichprobe umfasst weniger als 20 Fälle.

regression logistic t-test Gwen
quelle

2

Ich bin nicht sicher, ob das Ihre eigentliche Frage ist. Sie haben bereits beide Analysen durchgeführt, nach denen Sie fragen. Ich vermute, was Sie wirklich wissen wollen, ist etwas über Vergleiche oder Beziehungen zwischen diesen Tests, was zum Beispiel besser ist. Bitte bearbeiten Sie Ihre Frage, um das zu beheben.

John

Beide Tests wurden auf Anweisung verschiedener Personen durchgeführt, und keiner von ihnen ist sich sicher, ob dies der richtige Weg ist. In Anbetracht der Forschungsfragen (hängt das Alter mit der Art der Reaktion zusammen?) Wäre dies der bessere Test, eine logistische Regression der Art der Reaktion auf das Alter oder ein T-Test, der das Durchschnittsalter der Personen vergleicht, die mit "Ja" geantwortet haben, mit dem Mittelwert Alter der Personen, die mit "nein" geantwortet haben?

Gwen

19

Beide Tests modellieren implizit die Beziehung zwischen Alter und Reaktion, jedoch auf unterschiedliche Weise. Die Auswahl hängt davon ab, wie Sie diese Beziehung modellieren. Ihre Wahl sollte von einer zugrunde liegenden Theorie abhängen, falls es eine gibt. Welche Art von Informationen möchten Sie aus den Ergebnissen extrahieren? und wie die Probe ausgewählt wird. In dieser Antwort werden diese drei Aspekte der Reihe nach behandelt.

Ich werde den t-Test und die logistische Regression mit einer Sprache beschreiben, die davon ausgeht, dass Sie eine genau definierte Population von Menschen untersuchen und Rückschlüsse aus der Stichprobe auf diese Population ziehen möchten.

Um irgendeine Art von statistischer Inferenz zu unterstützen, müssen wir annehmen, dass die Stichprobe zufällig ist.

Bei einem t-Test wird davon ausgegangen, dass die mit "Nein" geantworteten Personen eine einfache Zufallsstichprobe aller mit "Ja" geantworteten Personen in der Bevölkerung sind und dass die mit "Ja" geantworteten Personen eine einfache Zufallsstichprobe aller mit "Ja" geantworteten Personen in der Bevölkerung sind Population.

Ein t-Test macht zusätzliche technische Annahmen über die Verteilung des Alters in jeder der beiden Bevölkerungsgruppen. Es gibt verschiedene Versionen des T-Tests, um die wahrscheinlichen Möglichkeiten zu behandeln.
Die logistische Regression geht davon aus, dass alle Menschen eines bestimmten Alters eine einfache Zufallsstichprobe der Menschen dieses Alters in der Bevölkerung sind. Die einzelnen Altersgruppen können unterschiedliche "Ja" -Raten aufweisen. Wenn diese Quoten als logarithmische Quoten ausgedrückt werden (anstatt als gerade Proportionen), wird angenommen, dass sie linear mit dem Alter (oder mit bestimmten bestimmten Funktionen des Alters) zusammenhängen.

Die logistische Regression kann leicht erweitert werden, um nichtlineare Beziehungen zwischen Alter und Reaktion zu berücksichtigen. Eine solche Erweiterung kann verwendet werden, um die Plausibilität der anfänglichen linearen Annahme zu bewerten. Dies ist bei großen Datensätzen praktikabel, die genügend Details bieten, um Nichtlinearitäten anzuzeigen, bei kleinen Datensätzen ist es jedoch unwahrscheinlich, dass sie von großem Nutzen sind. Eine allgemeine Faustregel - dass Regressionsmodelle zehnmal so viele Beobachtungen wie Parameter haben sollten - legt nahe, dass wesentlich mehr als 20 Beobachtungen erforderlich sind, um die Nichtlinearität zu erfassen (für die neben dem Achsenabschnitt und der Steigung einer linearen Funktion ein dritter Parameter erforderlich ist) ).

Ein t-Test ermittelt, ob sich das Durchschnittsalter zwischen Nein- und Ja-Befragten in der Bevölkerung unterscheidet. Eine logistische Regression schätzt, wie unterschiedlich die Rücklaufquote je nach Alter ist. Als solches ist es flexibler und in der Lage, detailliertere Informationen zu liefern als der T-Test. Andererseits ist es in der Regel weniger leistungsfähig als der t-Test, um einen Unterschied zwischen den Durchschnittsaltern in den Gruppen festzustellen.

Es ist möglich, dass das Testpaar alle vier Kombinationen von Signifikanz und Nicht-Signifikanz aufweist. Zwei davon sind problematisch:

Der t-Test ist nicht signifikant, die logistische Regression jedoch. Wenn die Annahmen beider Tests plausibel sind, ist ein solches Ergebnis praktisch unmöglich, da der t-Test nicht versucht, eine solche spezifische Beziehung zu erkennen, wie sie sich aus der logistischen Regression ergibt. Wenn diese Beziehung jedoch nicht linear genug ist, um zu bewirken, dass die ältesten und jüngsten Probanden eine Meinung teilen und die Probanden mittleren Alters eine andere, kann die Ausweitung der logistischen Regression auf nicht lineare Beziehungen diese Situation erkennen und quantifizieren, die kein T-Test erkennen könnte .
Der t-Test ist signifikant, die logistische Regression jedoch nicht, wie in der Frage. Dies ist häufig der Fall, insbesondere wenn eine Gruppe von jüngeren Befragten, eine Gruppe von älteren Befragten und nur wenige Personen dazwischen sind. Dies kann zu einer großen Trennung zwischen den Antwortraten von No- und Yes-Respondern führen. Es wird durch den t-Test leicht erkannt. Eine logistische Regression hätte jedoch entweder relativ wenig detaillierte Informationen darüber, wie sich die Rücklaufquote tatsächlich mit dem Alter ändert, oder sie hätte nicht schlüssige Informationen: den Fall einer "vollständigen Trennung", bei der alle älteren Menschen auf eine Art und alle jüngeren auf eine andere Art und Weise reagieren. In diesem Fall hätten beide Tests normalerweise sehr niedrige p-Werte.

Beachten Sie, dass die Versuchsanordnung einige der Testannahmen ungültig machen kann. Wenn Sie beispielsweise Personen nach ihrem Alter in einem geschichteten Design ausgewählt haben, wird die Annahme des T-Tests (dass jede Gruppe eine einfache Zufallsstichprobe des Alters widerspiegelt) fraglich. Dieser Entwurf würde vorschlagen, sich auf logistische Regression zu verlassen. Wenn Sie stattdessen zwei Pools hatten, einen von No-Respondern und einen von Yes-Respondern, und zufällig aus diesen ausgewählt wurden, um ihr Alter zu bestimmen, sind die Stichprobenannahmen der logistischen Regression zweifelhaft, während die des T-Tests gelten. Dieser Entwurf würde die Verwendung einer Form eines T-Tests vorschlagen.

(Das zweite Design mag hier albern erscheinen, aber unter Umständen, in denen "Alter" durch ein Merkmal ersetzt wird, das schwierig, kostspielig oder zeitaufwendig zu messen ist, kann es ansprechend sein.)

whuber
quelle

Werden die meisten Bedenken hinsichtlich Nichtlinearität und Trennung nicht durch die Verwendung eines Splines für die Altersvariable gemildert? In dieser Angelegenheit kann ich mich entschuldigen, aber ich kann nicht verstehen, warum das "gepoolte" Design die Ergebnisse der logistischen Regression ungültig machen würde . Sicher, die Annahme einer zufälligen Stichprobe ist verschwunden, aber ist es uns wichtig, dass wir diese Design-Wahl treffen? Spielen Sie auf eine Vorurteilsauswahl an? (Das Design, das Sie beschreiben, scheint mir eine Fall-Kontroll-Studie zu sein, aber ich könnte mich irren ...) (+1 offensichtlich)

usεr11852 sagt Reinstate Monic

@ usεr11852 Vielen Dank für Ihre nachdenklichen Kommentare. Ich habe einige Passagen umgeschrieben, um die von Ihnen angesprochenen Punkte zu verdeutlichen. Obwohl das Splining des Alters die Nichtlinearität der logistischen Regression bewältigen kann, kann es die Möglichkeit einer vollständigen Trennung erhöhen. Ich bin mir nicht sicher, was Sie unter "gepooltem Design" verstehen, aber ich wäre misstrauisch, wenn es darum gehen würde, die p-Werte einer logistischen Regression zu interpretieren, bei der ein Wahrscheinlichkeitsmodell nicht gerechtfertigt werden kann (was uns durch Zufallsstichproben ermöglicht wird).

Whuber

Vielen Dank dafür. Ja, ich weiß Ihren Standpunkt zur vollständigen Trennung (Hauck-Donner-Effekte) voll zu schätzen, ich habe sie nicht berücksichtigt. OK, ich verstehe, was du jetzt damit über die beiden Pools meinst. In diesem Fall hätten wir ein vereinbartes Beobachtungsstudienkonzept (wir beobachten / definieren die beiden Pools), sodass wir

sofort

4

$t$ $X$ $Y$

X | Y. = ich \sim N (μ_{ich}, σ^{2}) .

$X|Y=i \sim N(\mu_i,\sigma^2).$

Y \sim bernoulli (p)

$Y \sim \operatorname{bernoulli}(p)$

Y

$Y$

X = x

$X=x$

\begin{aligned} P (Y. = 1 | X = x) & = \frac{f_{X | Y. = 1} (x) P (Y. = 1)}{\sum_{ich = 0}^{1} f_{X | Y. = ich} (x) P (Y. = ich)} \\ = \frac{p e^{- \frac{1}{2 σ^{2}} (x - μ_{1})^{2}}}{p e^{- \frac{1}{2 σ^{2}} (x - μ_{1})^{2}} + (1 - p) e^{- \frac{1}{2 σ^{2}} (x - μ_{0})^{2}}} \\ = \frac{1}{1 + \frac{1 - p}{p} e^{- \frac{1}{2 σ^{2}} (x - μ_{0})^{2} + \frac{1}{2 σ^{2}} (x - μ_{1})^{2}}} \\ = {logit}^{- 1} (β_{0} + β_{1} x) \end{aligned}

$\begin{align} P(Y=1|X=x) &=\frac{f_{X|Y=1}(x)P(Y=1)}{\sum_{i=0}^1 f_{X|Y=i}(x)P(Y=i)} \\&=\frac{pe^{-\frac1{2\sigma^2}(x-\mu_1)^2}}{pe^{-\frac1{2\sigma^2}(x-\mu_1)^2} + (1-p)e^{-\frac1{2\sigma^2}(x-\mu_0)^2}} \\&=\frac1{1+\frac{1-p}pe^{-\frac1{2\sigma^2}(x-\mu_0)^2+\frac1{2\sigma^2}(x-\mu_1)^2}} \\&=\operatorname{logit}^{-1}(\beta_0 + \beta_1 x) \end{align}$

\begin{aligned} β_{0} & = \ln \frac{p}{1 - p} - \frac{1}{2 σ^{2}} (μ_{1}^{2} - μ_{0}^{2}) \\ β_{1} & = \frac{1}{σ^{2}} (μ_{1} - μ_{0}) . \end{aligned}

$\begin{align}\beta_0 &= \ln\frac p{1-p} -\frac1{2\sigma^2}(\mu_1^2-\mu_0^2) \\ \beta_1&=\frac1{\sigma^2}(\mu_1-\mu_0). \end{align}$

In diesem Sinne sind die beiden bedingten Modelle also kompatibel.

Jarle Tufto
quelle

3

Der bessere Test ist derjenige, der Ihre Frage besser beantwortet. Weder ist einfach besser im Gesicht. Die Unterschiede entsprechen denen, die bei der Regression von y auf x und x auf y festgestellt wurden, und die Gründe für die unterschiedlichen Ergebnisse sind ähnlich. Die zu bewertende Varianz hängt davon ab, welche Variable im Modell als Antwortvariable behandelt wird.

Ihre Forschungsfrage ist furchtbar vage. Wenn Sie über die Richtung der Kausalität nachdenken, können Sie möglicherweise eine Schlussfolgerung darüber ziehen, welche Analyse Sie verwenden möchten. Bewirkt das Alter, dass Menschen mit "Ja" antworten, oder bewirkt das Bewirken des "Ja", dass Menschen älter werden? Es ist wahrscheinlicher, dass in diesem Fall die Varianz der Wahrscheinlichkeit eines "Ja" das ist, was Sie modellieren möchten, und daher ist die logistische Regression die beste Wahl.

Das heißt, Sie sollten Annahmen der Tests überprüfen. Diese finden Sie online auf Wikipedia oder in Ihren Lehrbüchern. Es kann durchaus sein, dass Sie gute Gründe haben, die logistische Regression nicht durchzuführen. In diesem Fall müssen Sie möglicherweise eine andere Frage stellen.

John
quelle

1

Meinen Sie "keine logistische Regression durchführen"?

mark999

Logistische Regression oder T-Test?

Antworten: