Sollten wir Kurtosis in einem Kurs für angewandte Statistik unterrichten? Wenn das so ist, wie?

17

Zentrale Tendenz, Ausbreitung und Schiefe lassen sich zumindest intuitiv relativ gut definieren; Die mathematischen Standardmaße dieser Dinge entsprechen auch relativ gut unseren intuitiven Vorstellungen. Aber Kurtosis scheint anders zu sein. Es ist sehr verwirrend und passt nicht gut zu jeder Intuition über die Verteilungsform.

Eine typische Erklärung für Kurtosis in einer angewandten Umgebung ist dieser Auszug aus der angewandten Statistik für Unternehmen und Verwaltung unter Verwendung von Microsoft Excel :[1]

Kurtosis bezieht sich darauf, wie hoch eine Verteilung ist oder umgekehrt wie flach sie ist. Wenn die Schwänze mehr Datenwerte enthalten, als Sie von einer Normalverteilung erwarten, ist die Kurtosis positiv. Umgekehrt ist die Kurtosis negativ, wenn weniger Datenwerte in den Schwänzen vorhanden sind, als Sie bei einer Normalverteilung erwarten würden. Excel kann diese Statistik nur berechnen, wenn Sie über mindestens vier Datenwerte verfügen.

Abgesehen von der Verwechslung von "Kurtosis" und "exzessiver Kurtosis" (wie in diesem Buch üblich, um sich auf das zu beziehen, was andere Autoren letztere nennen), die Interpretation in Begriffen von "Peakedness" oder "Flatness" wird dann durch den Wechsel der Aufmerksamkeit verwirrt, wie viele Datenelemente in den Schwänzen sind. Es ist notwendig, sowohl "Peak" als auch "Tails" zu berücksichtigen - Kaplansky[2]beklagte sich 1945, dass viele Lehrbücher der damaligen Zeit fälschlicherweise behaupteten, Kurtosis habe damit zu tun, wie hoch der Peak der Verteilung im Vergleich zu dem einer Normalverteilung sei, ohne die Schwänze zu berücksichtigen. Die Form sowohl am Gipfel als auch in den Schwänzen zu berücksichtigen, erschwert jedoch das Erfassen der Intuition. Ein Punkt, den der oben zitierte Extrakt überspringt, indem er von der Spitze zur Schwere der Schwänze übergeht, als ob diese Konzepte gleich wären.

Darüber hinaus funktioniert diese klassische "Peak and Tails" -Erklärung der Kurtosis nur für symmetrische und unimodale Verteilungen (in der Tat sind die in diesem Text abgebildeten Beispiele alle symmetrisch). Die "richtige" allgemeine Interpretation von Kurtosis, sei es in Form von "Spitzen", "Schwänzen" oder "Schultern", ist jedoch seit Jahrzehnten umstritten . [2][3][4][5][6]

Gibt es eine intuitive Methode, um Kurtosis in einer angewandten Umgebung zu lehren, die bei einer strengeren Herangehensweise nicht auf Widersprüche oder Gegenbeispiele stößt? Ist Kurtosis überhaupt ein nützliches Konzept im Kontext dieser Art von Kursen zur angewandten Datenanalyse, im Gegensatz zu Kursen in mathematischer Statistik? Wenn "Peakedness" einer Distribution ein intuitiv nützliches Konzept ist, sollten wir es stattdessen durch L-Momente lehren ?[7]

[1] Herkenhoff, L. und Fogli, J. (2013). Angewandte Statistik für Business und Management mit Microsoft Excel . New York, NY: Springer.

[2] Kaplansky I. (1945). "Ein häufiger Fehler in Bezug auf Kurtosis". Journal of the American Statistical Association , 40 (230): 259.

[3] Darlington, Richard B. (1970). "Ist Kurtosis wirklich 'Peakedness'?" The American Statistician 24 (2): 19–22

[4] Moors, JJA. (1986) "Die Bedeutung von Kurtosis: Darlington überarbeitet". The American Statistician 40 (4): 283–284

[5] Balanda, Kevin P. und MacGillivray, HL (1988). " Kurtosis: Ein kritischer Rückblick". The American Statistician 42 (2): 111–119

[6] DeCarlo, LT (1997). " Über die Bedeutung und Verwendung von Kurtosis ". Psychological Methods , 2 (3), 292. Chicago

[7] Hosking, JRM (1992). "Momente oder L Momente? Ein Beispiel für den Vergleich zweier Maße der Verteilungsform". The American Statistician 46 (3): 186–189

Silverfish
quelle
2
Was meinen Sie mit den üblichen Lehrplänen? Dh welches Bildungsniveau.
Gumeo
5
Was genau unterrichten Sie über Kurtosis? Diese Frage ist so vage wie sie ist. Bitte geben Sie an, wie es in Ihren Lehrplan passt, und vielleicht einige intuitive Beispiele aus den Standardmaßnahmen, mit denen Sie einverstanden sind, die bei Kurtosis im Widerspruch stehen.
John
3
Ich denke nicht, dass das Momentmaß der Kurtosis in dieser Hinsicht viel anders ist als das Momentversatzmaß. In beiden Fällen reflektieren sie nicht wirklich, was die Leute denken, und sie sind beide weniger intuitiv als die Geschichten, die die Leute sich selbst über sie erzählen. Für jedes überraschende Gegenbeispiel, das ich über Kurtosis habe, habe ich ein anderes über Schiefe. Ich würde keines von beiden entfernen, aber ich würde die Betonung auf den Moment reduzieren, in dem Maßnahmen ergriffen werden, ich würde sie später verschieben und die Art und Weise ändern, in der sie unterrichtet werden, damit wir keine unterschiedlichen Konzepte miteinander in Konflikt bringen und wir nicht Behauptungen aufstellen, die nicht halten.
Glen_b
3
Eine höhere Schiefe bedeutet nicht, dass der Schwanz in Richtung der Schiefe schwerer ist. Null-Schräglage bedeutet nicht Symmetrie (alle ungeraden Momente Null implizieren nicht einmal Symmetrie). Symmetrie impliziert nicht einmal eine Neigung von Null. Welche Intuitionen bleiben übrig?
Glen_b
3
Hier ist eine weitere Antwort mit einer Diskussion, die eine interessante Klasse von Beispielen enthält. Es gibt einige andere, aber ich sehe sie momentan nicht. Einige von Whubers Beiträgen sind auch nützlich.
Glen_b

Antworten:

18

Kurtosis ist wirklich ziemlich einfach ... und nützlich. Es ist einfach ein Maß für Ausreißer oder Schwänze. Es hat überhaupt nichts mit dem Peak zu tun - diese Definition muss aufgegeben werden.

Hier ist ein Datensatz:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 3, 2, 5, 2, 3, 999

Beachten Sie, dass '999' ein Ausreißer ist.

z4

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

z4

z4

Aus dieser Berechnung sollte ersichtlich sein, dass die Daten in der Nähe des "Peaks" (der Nicht-Ausreißerdaten) fast nichts zur Kurtosestatistik beitragen.

Kurtosis ist nützlich als Maß für Ausreißer. Ausreißer sind für Grundschüler wichtig und daher sollte Kurtosis unterrichtet werden. Aber Kurtosis hat praktisch nichts mit dem Peak zu tun, sei es spitz, flach, bimodal oder unendlich. Sie können alle oben mit kleiner Kurtosis und alle oben mit großer Kurtosis haben. Es sollte also NIEMALS so dargestellt werden, dass es etwas mit dem Peak zu tun hat, da dies zu falschen Informationen führt. Es macht das Material unnötig verwirrend und anscheinend weniger nützlich.

Zusammenfassung:

  1. Kurtosis ist nützlich als Maß für Schwänze (Ausreißer).
  2. Kurtosis hat nichts mit dem Peak zu tun.
  3. Kurtosis ist praktisch nützlich und sollte gelehrt werden, aber nur als Maß für Ausreißer. Erwähnen Sie den Peak nicht, wenn Sie Kurtosis unterrichten.

In diesem Artikel wird klar erläutert, warum die Definition von "Peakedness" jetzt offiziell nicht mehr gültig ist.

Westfall, PH (2014). " Kurtosis as Peakedness, 1905 - 2014. RIP " The American Statistician , 68 (3), 191-195.

Peter Westfall
quelle
4
Willkommen zu CV, ich hoffe du bleibst dabei und trägst in Zukunft mehr bei! Ich habe Ihren Beitrag so bearbeitet, dass er einen Link zum Artikel enthält, und einige der mathematischen Notationen neu formatiert. Ich hoffe, es macht Ihnen nichts aus. (Durch Platzieren von Mathe in einem $Beispiel ist $z^4$es möglich, zu verwendenLEINTEX
6

Die Frage ist zwar etwas vage, aber interessant. Auf welchen Niveaus wird Kurtosis unterrichtet? Ich erinnere mich, dass es in einem (Master-) Kurs in linearen Modellen erwähnt wurde (vor langer Zeit, basierend auf der ersten Ausgabe von Sebers Buch). Es war kein wichtiges Thema, geht aber auf Themen wie die Untersuchung der (mangelnden) Robustheit des Likelihood-Ratio-Tests (F-Test) der Varianzgleichheit ein, bei dem (aus dem Gedächtnis) das korrekte Niveau asymptotisch von derselben Kurtosis abhängt wie das Normalverteilung, die zu viel ist, um anzunehmen! Wir sahen ein Papier (aber ich es nie mit Details lesen) http://www.jstor.org/stable/4615828?seq=1#page_scan_tab_contents von Oja, das finden versucht , herauszufinden , was Schiefe, Kurtosis und so wirklich Maßnahmen.

Warum finde ich das interessant? Weil ich in Lateinamerika unterrichtet habe, wo es den Anschein hat, dass Skewness & Kurtosis von vielen als wichtig erachteten Themen unterrichtet werden, und versuche, Postgraduierten (viele aus der Wirtschaft) zu sagen, dass Kurtosis ein schlechtes Maß für die Form einer Verteilung ist (hauptsächlich) weil die Abtastvariabilität der vierten Potenzen einfach zu groß ist), war schwierig. Ich habe versucht, sie dazu zu bringen, stattdessen QQplots zu verwenden. Also, für einige der Kommentatoren, ja, das wird irgendwo gelehrt , wahrscheinlich zu viel!

Das ist übrigens nicht nur meine Meinung. Der folgende Blog-Beitrag https://www.spcforexcel.com/knowledge/basic-statistics/are-skewness-and-kurtosis-useful-statistics enthält diese Zitierung (Dr. Wheeler zugeschrieben):

Kurz gesagt, Skewness und Kurtosis sind praktisch wertlos. Shewhart machte diese Beobachtung in seinem ersten Buch. Die Statistiken für Schiefe und Kurtosis liefern einfach keine nützlichen Informationen, die über die bereits durch die Standort- und Streumessungen gegebenen Informationen hinausgehen.

Wir sollten bessere Techniken lehren, um Verteilungsformen zu studieren! wie QQ-Diagramme (oder relative Verteilungsdiagramme). Und wenn jemand noch numerische Maße benötigt, sind Maße, die auf L-Momenten basieren, besser. Ich zitiere eine Passage aus dem Aufsatz JR Statist Soc B (1990) 52, Nr. 1, S. 105–124 von JRM Hosking: "L-Momente: Analyse und Abschätzung der Verteilung durch lineare Kombination von Ordnungsstatistiken", Seite 109:

λ1λ2μ(F)12σ1(F)τ3τ4

(Im Moment beziehe ich mich auf das Papier für die Definitionen dieser Maße, sie basieren alle auf L-Momenten.) Das Interessante ist, dass das traditionelle Maß für Kurtosis, das auf vierten Momenten basiert, kein Maß für Kurtosis ist im Sinne von Oja! (Ich werde die Referenzen für diesen Anspruch bearbeiten, wenn ich sie finde.)

kjetil b halvorsen
quelle
1
Kein Problem mit der Verwendung von grafischen und anderen Techniken zum Verstehen von Verteilungseigenschaften, aber die Aussage, dass "Schiefe und Kurtosis praktisch wertlos sind", ist übertrieben. Beide haben große Auswirkungen auf alle Arten von statistischen Schlussfolgerungen.
Peter Westfall
@ Peter Es war wahrscheinlich "empirische Kurtosis" in dieser Aussage gemeint.
kjetil b halvorsen
1
Die empirische Kurtosis gibt jedoch Aufschluss darüber, wenn Ihre Daten ein Ausreißerproblem aufweisen. Deshalb denke ich immer noch, dass der Kommentar "Schiefe und Kurtosis sind praktisch wertlos" eine Übertreibung ist. Sicher, es handelt sich möglicherweise nicht um gute Schätzungen der "Populations" -Parameter, insbesondere bei kleineren Stichprobengrößen, aber "praktisch wertlos" ist eine Strecke. Auch wenn sie die Populationsparameter nicht besonders gut einschätzen, liefern sie nützliche beschreibende Informationen über den vorhandenen Datensatz. Informationen, die natürlich durch grafische Darstellungen wie qq-Diagramme ergänzt werden sollten.
Peter Westfall
@Peter Westfall: Die wahre Frage ist vielleicht, ob empirische Kurtosis das beste Maß ist, um Ausreißerprobleme zu erkennen, oder ob es etwas Besseres gibt.
kjetil b halvorsen
Die empirische Kurtosis misst den Ausreißercharakter eines Datensatzes, nicht einzelner Ausreißer. Ich würde nicht so weit gehen zu sagen, dass Kurtosis = 3 (wie normal) "keine Ausreißer" bedeutet, aber ich würde sagen, dass ein solcher Fall bedeutet, dass das Ausreißerzeichen (gemessen am durchschnittlichen Z-Wert, jeweils auf den vierten Wert gesetzt) Leistung) ist ähnlich wie bei einer Normalverteilung. Auf der anderen Seite weist eine riesige Kurtosis mit Sicherheit auf ein Ausreißerproblem hin. Ja, normale qq-Diagramme sind für eine genauere Diagnose besser geeignet. Übrigens haben der normale qq-Plot und die überschüssige Kurtosis einen festen mathematischen Zusammenhang.
Peter Westfall
3

Meiner Meinung nach ist der Schräglaufkoeffizient nützlich, um die Begriffe zu motivieren: positiv und negativ. Aber hier hört es auf, wenn es Ihr Ziel ist, die Normalität zu bewerten. Klassische Messungen von Schiefe und Kurtosis erfassen häufig nicht alle Arten von Abweichungen von der Normalität. Normalerweise empfehle ich meinen Schülern, grafische Techniken zu verwenden, um festzustellen, ob es sinnvoll ist, die Normalität zu bewerten, z. B. einen QQ-Plot oder einen normalen Wahrscheinlichkeitsplot. Bei einer ausreichend großen Stichprobe kann auch ein Histogramm verwendet werden. Boxplots sind auch nützlich, um Ausreißer oder sogar schwere Schwänze zu identifizieren.

Dies steht im Einklang mit den Empfehlungen einer Task Force des APA von 1999:

" Annahmen. Sie sollten sich bemühen, sicherzustellen, dass die zugrunde liegenden Annahmen, die für die Analyse erforderlich sind, angesichts der Daten angemessen sind. Reste sorgfältig untersuchen. Verwenden Sie keine Verteilungstests und statistischen Formindizes (z. B. Schiefe, Kurtosis) als Ersatz für die grafische Untersuchung Ihrer Residuen. Die Verwendung eines statistischen Tests zur Diagnose von Problemen bei der Modellanpassung weist mehrere Mängel auf. Erstens sind diagnostische Signifikanztests, die auf zusammenfassenden Statistiken basieren (wie Tests auf Varianzhomogenität), häufig unpraktisch sensitiv. Unsere statistischen Modelltests sind oft robuster als unsere statistischen Annahmetests. Zweitens können Statistiken wie Skewness und Kurtosis häufig keine Verteilungsunregelmäßigkeiten in den Residuen erkennen. Drittens hängen statistische Tests von der Stichprobengröße ab, und mit zunehmender Stichprobengröße Die Tests lehnen oft harmlose Annahmen ab. Im Allgemeinen gibt es keinen Ersatz für die grafische Analyse von Annahmen."

Referenz: Wilkinson, L. & Task Force on Statistical Inference. (1999). Statistische Methoden in psychologischen Fachzeitschriften: Richtlinien und Erläuterungen. American Psychologist, 54, 594 & ndash; 604.

G. Lamothe
quelle
1

Je nachdem, wie der Kurs angewendet wird, kann sich die Frage nach der Genauigkeit der Schätzungen stellen. Die Genauigkeit der Varianzschätzung hängt stark von der Kurtosis ab. Der Grund dafür ist, dass bei hoher Kurtosis die Verteilung seltene, extrem potenziell beobachtbare Daten zulässt. Somit erzeugt der Datenerzeugungsprozess in einigen Proben sehr extreme Werte und in anderen nicht so extreme Werte. Im ersten Fall erhalten Sie eine sehr große Varianzschätzung und im zweiten Fall eine kleine Varianzschätzung.

Wenn die überholte und inkorrekte Interpretation von "Peakedness" beseitigt und stattdessen ausschließlich Ausreißer (dh seltene, extreme Observablen) in den Mittelpunkt gerückt würden, wäre es einfacher, Kurtosis in Einführungskursen zu unterrichten. Aber die Leute verknoten sich, um "Peakedness" zu rechtfertigen, weil dies (fälschlicherweise) in ihren Lehrbüchern angegeben ist und sie die wirklichen Anwendungen der Kurtosis vermissen. Diese Anwendungen beziehen sich hauptsächlich auf Ausreißer, und natürlich sind Ausreißer in Kursen zur angewandten Statistik wichtig.

Peter Westfall
quelle
1
Sind Sie derselbe Peter Westfall wie der Autor der am besten bewerteten Antwort in diesem Thread? In diesem Fall könnten Sie Ihre Profile zusammenführen lassen und dann Ihre alte Antwort direkt bearbeiten, anstatt eine andere Antwort zu veröffentlichen.
Amöbe sagt Reinstate Monica
1
Ja, tut mir leid, dass ich die Netiquette verpasst habe.
Peter Westfall
-1

Kurt[X]=E[(X-μσ)4]=μ4σ4=E[(X-μ)4](E[(X-μ)2])2,

Sie können den Erwartungsoperator durch summenbasierte Schätzer ersetzen1nich=1nμ,σ2,μ4μσ2

Aksakal
quelle
1
Das Problem ist, dass, sobald Sie die Kurtosis bekommen, es sehr uninteressant ist, was (wenn überhaupt) es bedeutet. Es passt nicht zu nützlichen Eigenschaften der Distribution.
Peter Flom - Reinstate Monica
Ja, Kurtosis entspricht einer sehr nützlichen Qualität einer Distribution - es ist ein Maß für das Schwanzgewicht (Ausreißer). Unterstützende mathematische Theoreme, für die es kein Gegenbeispiel gibt: (i) Kurtosis liegt zwischen E (Z ^ 4 * I (| Z |> 1)) und E (Z ^ 4 * I (| Z |> 1)) + 1 , für alle Distributionen mit endlichem 4. Moment. (ii) für die Unterklasse der stetigen Verteilungen, in der die Dichte von Z ^ 2 auf (0,1) abnimmt, liegt die Kurtosis zwischen E (Z ^ 4 * I (| Z |> 1)) und E (Z ^ 4 * I (| Z |> 1)) + .5 und (iii) für eine beliebige Folge von Verteilungen mit einer gegen unendlich tendierenden Kurtosis E (Z ^ 4 * I (| Z |> b)) / Kurtosis -> 1, z jeder echte b.
Peter Westfall