Freiheitsgrade für Welch t-Test melden

14

Der Welch-t-Test für ungleiche Varianzen (auch als Welch-Satterthwaite oder Welch-Aspin bekannt) weist im Allgemeinen nicht ganzzahlige Freiheitsgrade auf . Wie sollen diese Freiheitsgrade bei der Meldung der Testergebnisse angegeben werden?

"Es ist üblich, vor dem Abrufen von Standardtabellen auf die nächste ganze Zahl abzurunden", wie aus verschiedenen Quellen hervorgeht * - was sinnvoll ist, da diese Rundungsrichtung konservativ ist. ** Einige ältere Statistiksoftware würde dies ebenfalls tun (z. B. Graphpad Prism vor Version 6 ) und einige Online-Rechner noch. Wenn dieses Verfahren angewendet wurde, erscheint es angemessen , abgerundete Freiheitsgrade anzugeben. (Obwohl die Verwendung einer besseren Software möglicherweise noch angemessener ist!)

Die überwiegende Mehrheit der modernen Pakete verwendet jedoch den Bruchteil, so dass in diesem Fall der Bruchteil anscheinend in Anführungszeichen gesetzt werden sollte. Es erscheint mir nicht angebracht, mehr als zwei Dezimalstellen anzugeben, da ein Tausendstel Freiheitsgrad nur einen vernachlässigbaren Einfluss auf den p- Wert haben würde.

Wenn ich mich in Google Scholar umsehe, sehe ich Artikel, in denen der df als ganze Zahl mit einer Dezimalstelle oder mit zwei Dezimalstellen angegeben ist. Gibt es Richtlinien für die Genauigkeit der Verwendung? Wenn die Software den vollständigen Bruchteil verwendet, sollte der angeführte df auf die gewünschte Anzahl von Ziffern abgerundet werden (z. B. bis 1 dp oder als ganze Zahl), wie dies mit dem angemessen war konservative Rechnung, oder wie mir vernünftiger erscheint, konventionell ( auf den nächsten ) gerundet, so dass bis 1 dp oder auf das nächste Ganze?77.5845...7.5787,5845 ...7.68

Bearbeiten: Abgesehen davon, dass Sie die theoretisch fundierteste Methode zum Melden von nicht ganzzahligen df kennen, ist es auch gut zu wissen, was die Leute in der Praxis tun . Vermutlich haben Zeitschriften und Styleguides ihre eigenen Anforderungen. Ich wäre gespannt, was einflussreiche Styleguides wie die APA verlangen. Nach allem, was ich feststellen kann (ihr Handbuch ist online nicht frei verfügbar), hat der APA die allgemeine Präferenz, dass fast alles auf zwei Dezimalstellen erscheinen sollte, mit Ausnahme von p- Werten (die zwei oder drei dp sein können) und Prozentsätzen (auf das gerundet) nächster Prozentwert) - deckt Regressionssteigungen, t- Statistiken, F- Statistiken,χ2Statistiken und so weiter. Dies ist ziemlich unlogisch, wenn man bedenkt, dass die zweite Dezimalstelle eine ganz andere signifikante Zahl einnimmt und eine ganz andere Genauigkeit vorschlägt als 982,47, könnte aber die Anzahl von Welch df mit zwei Dezimalstellen erklären, die ich in meiner unwissenschaftlichen Stichprobe gesehen habe .

zB Ruxton, GD Der t-Test mit ungleicher Varianz ist eine unterbewertete Alternative zum t-Test nach Student und zum Mann-Whitney-U-Test , Behavioral Ecology (Juli / August 2006) 17 (4): 688-690 doi: 10.1093 / beheco / ark016

wenn die Welch-Satterthwaite-Näherung selbst konservativ sein kann oder nicht und in einem Fall, in dem sie nicht konservativ ist, ist eine Abrundung der Freiheitsgrade keine Garantie für eine Kompensation insgesamt.

Silberfisch
quelle
1
Ich habe die tatsächliche Praxis nicht untersucht - weshalb dies ein Kommentar und keine Antwort ist -, aber ich würde erwarten, dass dies auf einem Urteil im Zusammenhang mit der Meldung signifikanter Zahlen beruht. Bei einem relativ hohen df ändert eine Änderung der ersten Dezimalstelle häufig überhaupt nicht den p-Wert (entsprechend der angegebenen Genauigkeit). Daher ist das Runden auf eine Ganzzahl in Ordnung. Für sehr niedrige df und Extremwerte von gilt die Ableitungkann überschreiten , was in solchen Fällen nahe , dass nur einer weniger signifikanten Zahl als selbst gemeldet werden sollte . t | νt0,01νp|νFν(t)|0.01νp
whuber
@whuber Das ist in der Tat eine nützliche Beobachtung, besonders wenn man sie zusammen mit Glen_bs Antwort betrachtet. Wie niedrig ist "sehr niedrig" für ? (Mein Verdacht aus der Auswahl der Artikel, auf die ich gestoßen bin, ist, dass viel "tatsächliches Üben" möglicherweise nicht dasselbe ist wie "gutes Üben". Ich vermute, dass das Befolgen von Richtlinien durch Roboter genauso wirksam ist wie ein Urteil, weshalb es interessant wäre um zu wissen, welche allgemeinen Richtlinien für die Berichterstattung gelten.)ν
Silverfish

Antworten:

10

Ich habe die tatsächliche Praxis nicht studiert, daher kann diese Antwort diesen Aspekt der Frage nicht ansprechen. Generell würde ich erwarten, dass die Behandlung signifikanter Ziffern bei der Angabe der Freiheitsgrade (df) auf der Beurteilung signifikanter Zahlen beruht.

Das Prinzip ist, konsistent zu sein : Verwenden Sie die Genauigkeit in einer Größe, die für die Genauigkeit in einer anderen, die damit zusammenhängt, geeignet ist. Insbesondere, wenn die Werte und y = f ( x ) gemeldet werden, wenn x dem nächsten Vielfachen eines kleinen Werts h (wie h = 1) gegeben wirdxy=f(x)xhfür sechs Nachkommastellen) ist die relative Genauigkeit iny,wie sie durch die Funktionf vermitteltwirdh=12×106yf

suphkh|f(x+k)f(x)|h|ddxf(x)|.

Die Näherung gilt, wenn im Intervall stetig differenzierbar ist .[ x - h , x + h ]f[xh,x+h]

In der vorliegenden Anmeldung ist der Wert, die Freiheitsgrade undp x νypxν

y=f(x)=f(ν)=Fν(t)

Dabei ist die Welch-Satterthwaite-Statistik und die CDF der Student Verteilung mit Freiheitsgraden.F ν t νtFνtν

Bei relativ hohen df ändert eine Änderung der ersten Dezimalstelle häufig den p-Wert überhaupt nicht (auf das angegebene Genauigkeitsniveau), daher ist das Runden auf eine ganze Zahl in Ordnung ( aber ist sehr klein). Für sehr niedrige df- und Extremwerte der Statistik ist die Größe der Ableitungkann überschreiten , was in solchen Fällen nahe , dass nur eine Dezimalstelle weniger als selbst angegeben werden sollte.h = 1 / 2 h | dνh=1/2t| h|ddxf(x)|t0,01νp|νFν(t)|0.01νp

Überzeugen Sie sich mit diesem beschrifteten Konturdiagramm der Größe der Ableitung für den niedrigsten (vernünftigen) df und die Bereiche vondas wäre von interesse (weil sie zu niedrigen p-werten führen können).|t|

Zahl

Die Bezeichnungen zeigen den Logarithmus zur Basis 10 der Ableitung. Wenn Sie also an Punkten zwischen und in diesem Diagramm das gemeldete df an der Stelle nach dem Dezimalpunkt ändern, wird der gemeldete p-Wert wahrscheinlich nur in geändert und spätere Stellen. Angenommen, Sie runden den p-Wert auf (sechs Dezimalstellen). Betrachten Sie die Statistiken und . Diese befinden sich in der Nähe der log Kontur. Daher sollte mit Dezimalstellen angegeben werden.k(k+1)jth(j+k)th106ν=2.5t=83ν6+(3)=3

Die hellblauen Bereiche für das größte sind von Belang, da sie zeigen, wo kleine Änderungen in die größten Auswirkungen auf den p-Wert haben.kν

Vergleichen Sie dies mit der Situation für höhere df (von bis gezeigt):430

Figur 2

Der Einfluss von auf die Präzision von zunehmender schnell ab .νpν

whuber
quelle
1
Dies war ein sehr hilfreicher Beitrag, um festzustellen, nach welchen Grundsätzen man die Freiheitsgrade abrunden sollte (+50!); Ich hoffe, dass ein späterer Beantworter die Lücken über die tatsächliche Praxis schließen kann.
Silverfish
7

Es ist üblich, auf die nächste ganze Zahl abzurunden, bevor Standardtabellen herangezogen werden

Der Grund, warum dies eine Konvention war, ist, dass Tabellen nicht die Ganzzahl df haben. Es gibt keinen Grund, es anders zu machen.

Das macht Sinn, da diese Anpassung konservativ ist.

Nun, die Statistik hat eigentlich keine t-Verteilung, weil der Quadrat-Nenner eigentlich keine skalierte Chi-Quadrat-Verteilung hat. Dies ist eine Annäherung, die in einem bestimmten Fall möglicherweise konservativ ist oder nicht. Wenn wir die genaue Verteilung der Statistik in einem bestimmten Fall berücksichtigen, ist die Abrundung möglicherweise nicht konservativ.

(Durch Interpolation oder durch tatsächliches Zerquetschen der Zahlen für die t-Verteilung mit diesem df?)

p-Werte aus t-Verteilungen (Anwenden der cdf auf eine t-Statistik) können mit einer Vielzahl ziemlich genauer Näherungen berechnet werden, sodass sie effektiv berechnet und nicht interpoliert werden.

Ich kann mir nicht vorstellen, dass es angebracht ist, mehr als zwei Dezimalstellen anzugeben

Genau.

Gibt es Richtlinien für die Genauigkeit der Verwendung?

Eine Möglichkeit könnte darin bestehen, zu untersuchen, wie genau die Welch-Satterthwaite-Näherung für den p-Wert in diesem allgemeinen Bereich der Varianzverhältnisse ist, und nicht wesentlich mehr relative Genauigkeit zu zitieren, als dies im df nahelegt (wobei zu berücksichtigen ist, dass der df auf dem df liegt) (Chi-Quadrat im Quadrat des Nenners geben nur eine Annäherung an etwas, das ohnehin nicht Chi-Quadrat ist).

Glen_b - Setzen Sie Monica wieder ein
quelle
1
Ich hätte klarstellen sollen, dass "Abrunden konservativ ist". Die Welch-Satterthwaite-Approximation selbst kann konservativ sein oder nicht. Aber der Prozess des Abrundens ist mit Sicherheit - wenn die Annäherung anfangs nicht konservativ war, ist sie nach dem Abrunden zumindest weniger schlecht. Im Gegensatz dazu ist eine Aufrundung (z. B. "7.5845 Runden am nächsten zu 8") definitiv keine konservative Anpassung. Ich könnte einen besseren Weg finden, dies auszudrücken, aber ich hoffe, mein Punkt ist klar!
Silverfish
"Eine Möglichkeit könnte sein, zu untersuchen, wie genau die Welch-Satterthwaite-Näherung für den p-Wert in diesem allgemeinen Bereich von Varianzverhältnissen ist" - dies ist sehr sinnvoll und scheint der prinzipielle Ansatz zu sein. Ist das etwas übliches? Einige Hinweise zur Umsetzung wären nett. In der Praxis habe ich den Verdacht, dass Richtlinien im Journalstil oft das letzte Wort haben! Aber ich weiß nicht, was sie sagen - in den Zeitungen, in denen meine Suche auftauchte, gab es definitiv eine Vielzahl von Übungen.
Silverfish
Um künftigen Lesern keine Verwirrung zu bereiten, habe ich versucht, die konservative Rundung im Fragenkörper zu verdeutlichen. Danke, dass Sie das aufgegriffen haben.
Silverfish
Ich denke nicht, dass so etwas allgemein üblich ist, aber ich denke nicht, dass das bedeutet, dass es nicht so sein sollte. Inwieweit das Erklären, warum man auf einen bestimmten Punkt abrundet, von der Zeitschrift, dem Herausgeber oder den Schiedsrichtern abhängt.
Glen_b