Wie merkwürdig ist eine Ansammlung von Flugzeugunfällen?

Originalfrage (25.07.14): Ist dieses Zitat aus den Nachrichtenmedien sinnvoll, oder gibt es eine bessere statistische Sichtweise auf die jüngsten Flugzeugunfälle?

Barnett macht jedoch auch auf die Theorie der Poisson-Verteilung aufmerksam, wonach kurze Absturzintervalle wahrscheinlicher sind als lange.

"Nehmen wir an, es gibt durchschnittlich einen tödlichen Unfall pro Jahr, was bedeutet, dass die Wahrscheinlichkeit eines Absturzes an einem bestimmten Tag eins zu 365 ist", sagt Barnett. "Wenn es am 1. August zu einem Absturz kommt, beträgt die Wahrscheinlichkeit, dass der nächste Absturz einen Tag später als am 2. August stattfindet, 1/365. Die Wahrscheinlichkeit, dass der nächste Absturz am 3. August stattfindet, beträgt jedoch (364/365) x (1/365). , weil der nächste Absturz nur am 3. August stattfindet, wenn am 2. August kein Absturz erfolgt. "

"Es scheint nicht intuitiv, aber die Schlussfolgerung folgt unerbittlich aus den Gesetzen der Wahrscheinlichkeit", sagt Barnett.

Quelle: http://www.bbc.com/news/magazine-28481060

Klarstellung (27.07.14): Was (für mich) kontraintuitiv ist, ist, dass seltene Ereignisse dazu neigen, zeitnah aufzutreten. Intuitiv würde ich denken, dass seltene Ereignisse nicht zeitnah eintreten würden. Kann mich jemand auf eine theoretische oder empirische erwartete Verteilung der Zeit zwischen Ereignissen unter den Annahmen einer Poisson-Verteilung hinweisen? (Das heißt, ein Histogramm, bei dem die y-Achse die Häufigkeit oder Wahrscheinlichkeit und die x-Achse die Zeit zwischen zwei aufeinander folgenden Ereignissen ist, die in Tage, Wochen, Monate oder Jahre oder dergleichen unterteilt sind.) Vielen Dank.

Klarstellung (28.07.14): Die Überschrift deutet darauf hin, dass es eher zu Häufungen von Unfällen als zu weit auseinander liegenden Unfällen kommt. Lasst uns das operationalisieren. Angenommen, ein Cluster besteht aus 3 Flugzeugunfällen, und ein kurzer Zeitraum beträgt 3 Monate und ein langer Zeitraum beträgt 3 Jahre. Es erscheint unlogisch zu glauben, dass die Wahrscheinlichkeit, dass sich innerhalb von drei Monaten drei Unfälle ereignen, höher ist als innerhalb von drei Jahren. Selbst wenn wir den ersten Unfall als gegeben ansehen, ist es unlogisch anzunehmen, dass in den nächsten 3 Monaten zwei Unfälle mehr passieren werden als in den nächsten 3 Jahren. Wenn dies zutrifft, ist die Überschrift der Nachrichtenmedien irreführend und falsch. Vermisse ich etwas?

Zusammenfassung: Der erste Satz im zitierten BBC-Absatz ist schlampig und irreführend.

Obwohl die vorherigen Antworten und Kommentare bereits eine hervorragende Diskussion lieferten, bin ich der Meinung, dass die Hauptfrage nicht zufriedenstellend beantwortet wurde.

Nehmen wir also an, dass die Wahrscheinlichkeit eines Flugzeugabsturzes an einem bestimmten Tag und dass die Abstürze unabhängig voneinander sind. Nehmen wir weiter an, dass ein Flugzeug am 1. Januar abgestürzt ist. Wann würde das nächste Flugzeug abstürzen?$p=1/365$

Lassen Sie uns eine einfache Simulation durchführen: Für jeden Tag in den nächsten drei Jahren werde ich zufällig entscheiden, ob ein anderes Flugzeug mit der Wahrscheinlichkeit abgestürzt ist, und den Tag des nächsten Absturzes notieren. Ich werde diesen Vorgang Mal wiederholen . Hier ist das resultierende Histogramm:$p$$100\,000$

Tatsächlich wird die Wahrscheinlichkeitsverteilung einfach durch , wobei die Anzahl der Tage ist. Ich habe diese theoretische Verteilung als rote Linie dargestellt, und Sie können sehen, dass sie gut zum Monte-Carlo-Histogramm passt. Bemerkung: Wenn die Zeit in immer kleineren Behältern diskretisiert würde, würden diese Verteilungen zu einer exponentiellen konvergieren; Für diese Diskussion ist es aber nicht wirklich wichtig.$\mathrm{Pr}(t) = (1-p)^t p$$t$

Wie viele hier bereits bemerkt haben, ist es eine abnehmende Kurve. Dies bedeutet, dass die Wahrscheinlichkeit, dass das nächste Flugzeug am nächsten Tag, dem 2. Januar, abstürzt, höher ist als die Wahrscheinlichkeit, dass das nächste Flugzeug an einem anderen Tag, z. B. am 2. Januar des nächsten Jahres, abstürzt (der Unterschied ist fast dreifach: und ).$0.27\%$$0.10\%$

Aber wenn Sie fragen , was die Wahrscheinlichkeit ist , dass die nächste Ebene in den nächsten drei Tagen abstürzt, ist die Antwort , aber wenn Sie fragen , was die Wahrscheinlichkeit ist , dass es nach drei Tagen zum Absturz bringen wird, aber in den nächsten drei Jahren, dann ist die Antwort . Offensichtlich ist es also wahrscheinlicher, dass es in den nächsten drei Jahren (aber nach den ersten drei Tagen) abstürzt als in den nächsten drei Tagen. Die Verwirrung entsteht, wenn Sie "Clustered Events" sagen, beziehen Sie sich auf einen sehr kleinen Anfangsblock der Verteilung, aber wenn Sie "Wide Spaced" -Ereignisse sagen, beziehen Sie sich auf einen großen Block davon. Deshalb ist es auch bei einer monoton abnehmenden Wahrscheinlichkeitsverteilung durchaus möglich, dass "Cluster" (z$0.8\%$$94\%$

Hier ist ein weiteres Histogramm, um diesen Punkt wirklich zu vermitteln. Es ist einfach eine Summe des vorherigen Histogramms über mehrere sich nicht überschneidende Zeiträume:

Was der Reporter sagt, ist, dass das zufällige Auftreten eines Flugzeugabsturzes als ein Poisson-Prozess modelliert werden kann - eine Situation, in der die Wahrscheinlichkeit, dass ein Ereignis über ein (kleines) Intervall auftritt, proportional zur Länge des Intervalls ist und in der jedes Auftreten erfolgt in Unabhängig von allen anderen.

Ist dies ein vernünftiges Modell für das beschriebene Szenario?

Wahrscheinlich.

Sicher, diese Ereignisse sind möglicherweise nicht zu 100% unabhängig, da andere Piloten ihr Verhalten nach einem Absturz wahrscheinlich (wenn auch nur geringfügig) ändern. [Ich weiß nicht - vielleicht machen ein paar Piloten ein bisschen Simulatortraining oder ähnliches]. Trotzdem ist die Annahme der Unabhängigkeit durchaus vernünftig.

Was ist mit Flugzeugabstürzen?

Ja. Bei einem Poisson - Prozess (oder sogar eine andere Zufallsprozess), Sie würden erwarten , dass einige Gruppen von Vorkommen zu sehen.

Tatsächlich beschreibt das Oxford Dictionary of Statistics in seinem Eintrag für den Poisson-Prozess (der eine "mathematische Beschreibung der Zufälligkeit" ist) Folgendes:

[R]andomness usually gives rise to apparent clustering, despite the natural
expectation that randomness would lead to regularity.

Schauen Sie sich zum Beispiel dieses einfache Stück R- Code an:

set.seed(123)
x <- runif(500)
y <- runif(500)

plot(x, y, pch=20, col='blue', main="A Random Distribution of Points")

welche produziert:

Auch wenn wir wissen, dass dies eine grafische Darstellung von zufälligen Punkten ist, sieht es so aus, als stünden einige nicht zufällige Teile dahinter - insbesondere gibt es in einigen Teilen des Diagramms Punkteklumpen, während andere Teile weit offen sind. Es ist dasselbe Verhalten, das der Artikel zu beschreiben versucht (nur mit Zeitreihendaten und nicht mit räumlichen Daten).

AKTUALISIEREN:

@JoelW .: Nehmen wir zum Beispiel an, die Wahrscheinlichkeit, dass ein Flugzeug morgen (oder an einem beliebigen Tag) abstürzt, ist " p " (und " p " ist ungefähr 1 zu 100).

Der Grund, warum der nächste Flugzeugabsturz morgen wahrscheinlicher ist als in genau einem Jahr (dh am 26. Juli 2015 ), liegt darin, dass die Wahrscheinlichkeit, dass der nächste Absturz in genau einem Jahr erfolgt, gleich ist:

= Prob(crash tomorrow) * Prob(365 days with *no* crashes)

Sinn ergeben?

Letztendlich denke ich , dass der Grund , warum diese Dinge sind kontraintuitiv , weil in der Regel, wenn wir wie eine Phrase denken: "The odds of a plane crash in one month compared with the odds of one happening tomorrow". Wir berücksichtigen natürlich nicht sofort die 24-Stunden-Frist, die in genau einem Monat beginnt. Stattdessen neigen wir (oder zumindest ich) dazu, flexibler darüber nachzudenken . So eher wie: a month ± a week. Das und die Tatsache, dass wir vergessen, die Wahrscheinlichkeit eines Absturzes zu berücksichtigen, der in der Zwischenzeit nicht passiert ... (Aber vielleicht bin das auch nur ich ...).

Puh!

Zusätzliche Ressourcen:

• Wikipedia-Artikel zur Clustering Illusion
• Ein PDF, das speziell die "Häufung" von Flugzeugabstürzen erwähnt (auf Seite 8) und die Mathematik eines Poisson-Prozesses kurz beschreibt .

Wenn die Anzahl der Flugzeugabstürze auf Poisson verteilt ist (wie er anscheinend angibt), ist die Zeit zwischen den Abstürzen exponentiell verteilt. Das pdf der Exponentialverteilung ist eine monoton abnehmende Funktion der Zeit. Daher sind frühere Abstürze wahrscheinlicher als spätere Abstürze.

Die anderen Antworten haben sich bereits damit beschäftigt, wie sich unabhängige Ereignisse zusammenschließen. (Das Lesen von Gleicks Chaos vor all den Jahren öffnete mir die Augen für diese Idee.)

Tatsächlich gibt es jedoch starke Beweise dafür, dass Flugzeugabstürze keine eigenständigen Ereignisse sind. Cialdinis Einfluss hat ein sehr gutes Kapitel dazu (auch hier erwähnt , das ein paar Links zu Daten enthält; und ich habe einen Auszug aus diesem Teil des Buches gefunden ). Offensichtlich ist dies sehr umstritten: Grundsätzlich heißt es, dass es umso wahrscheinlicher ist, dass ein Pilot (bewusst oder unbewusst) einen Absturz seines Flugzeugs erleidet, je bekannter ein Flugzeugabsturz ist. Die psychologischen Erklärungen, die der Hypothese zugrunde liegen, scheinen plausibel, und die Daten scheinen sie auch zu stützen.

(Links zu statistikbasierten Debunking-Recherchen wären in den Kommentaren willkommen.)