Können wir probabilistische Aussagen mit Vorhersageintervallen treffen?

Ich habe die vielen hervorragenden Diskussionen auf der Website über die Interpretation von Konfidenzintervallen und Vorhersageintervallen gelesen, aber ein Konzept ist immer noch etwas rätselhaft:

Betrachten Sie das OLS-Framework und wir haben das angepasste Modell . Wir erhalten ein und werden gebeten, die Antwort vorherzusagen. Wir berechnen und geben als Bonus ein Vorhersageintervall von 95% um unsere Vorhersage an. A la Ermitteln einer Formel für Vorhersagegrenzen in einem linearen Modell . Nennen wir dieses Vorhersageintervall PI.$\hat y = X\hat\beta$$x^*$$x^{*T}\hat\beta$

Welche der folgenden Aussagen (oder keine) ist die richtige Interpretation von PI?

1. Für$x^*$Insbesondere liegt mit einer Wahrscheinlichkeit von 95% innerhalb von PI.$y(x^*)$
2. Wenn wir eine große Anzahl von s erhalten, deckt diese Prozedur zum Berechnen von PIs die tatsächlichen Antworten in 95% der Fälle ab.$x$

Aus @ gungs Formulierung im linearen Regressionsvorhersageintervall geht hervor , dass ersteres zutrifft (obwohl ich sehr wohl falsch interpretieren könnte). Interpretation 1 erscheint mir in dem Sinne, dass wir Bayes'sche Schlussfolgerungen aus der frequentistischen Analyse ziehen, nicht intuitiv Wenn es richtig ist, ist es, weil wir die Realisierung einer Zufallsvariablen im Vergleich zur Schätzung eines Parameters vorhersagen ?

(Edit) Bonus Frage: Angenommen , wir wussten , was die wahre ist, dh der Prozess die Daten zu erzeugen, dann würden wir eine bestimmte Vorhersage in Bezug auf Lage , reden über Wahrscheinlichkeiten, da wir gerade bei der Suche ε ?$\beta$$\epsilon$

Mein letzter Versuch: Wir können ein Vorhersageintervall (unter Verwendung des Wortes sehr locker) in zwei Teile "begrifflich zerlegen": (A) ein Konfidenzintervall um die vorhergesagte mittlere Antwort und (B) eine Sammlung von Intervallen, die nur quantil sind Bereiche des Fehlerbegriffs. (B) Wir können probabilistische Aussagen treffen, vorausgesetzt wir kennen den wahren prognostizierten Mittelwert, aber insgesamt können wir Vorhersageintervalle nur als frequentistische CIs um prognostizierte Werte behandeln. Ist das etwas richtig?

Erstens haben Frequentisten bei Verwendung der Wortwahrscheinlichkeit kein Problem damit, die Wortwahrscheinlichkeit zu verwenden, wenn sie etwas vorhersagen, bei dem das zufällige Stück noch nicht stattgefunden hat. Das Wort Wahrscheinlichkeit für ein Konfidenzintervall gefällt uns nicht, da sich der wahre Parameter nicht ändert (wir gehen davon aus, dass es sich um einen festen, wenn auch unbekannten Wert handelt), und das Intervall ist festgelegt, da es auf bereits erfassten Daten basiert. Wenn unsere Daten zum Beispiel aus einer zufälligen Stichprobe erwachsener männlicher Menschen stammen und x ihre Größe und y ihr Gewicht ist und wir dem allgemeinen Regressionsmodell entsprechen, verwenden wir keine Wahrscheinlichkeit, wenn wir über die Konfidenzintervalle sprechen. Aber wenn ich über die Wahrscheinlichkeit sprechen möchte, dass ein 65-Zoll-großer Mann zufällig aus allen 65-Zoll-großen Männern mit einem Gewicht innerhalb eines bestimmten Intervalls ausgewählt wird,

Daher würde ich sagen, dass die Antwort auf die Bonusfrage "Ja" lautet. Wenn wir genügend Informationen hätten, könnten wir die Wahrscheinlichkeit berechnen, einen Wert innerhalb eines Intervalls zu sehen (oder ein Intervall mit der gewünschten Wahrscheinlichkeit finden).

Für Ihre Aussage mit der Aufschrift "1." Ich würde sagen, dass es in Ordnung ist, wenn Sie ein Wort wie "ungefähr" verwenden, wenn Sie über das Intervall oder die Wahrscheinlichkeit sprechen. Wie Sie in der Bonusfrage erwähnt haben, können wir die Unsicherheit in ein Stück über die Mitte der Vorhersage und ein Stück über die Zufälligkeit um den wahren Mittelwert aufteilen. Wenn wir diese kombinieren, um alle unsere Unsicherheiten abzudecken (und vorausgesetzt, wir haben das Modell / die Normalität korrekt), haben wir ein Intervall, das tendenziell zu breit ist (obwohl es auch zu eng sein kann), also die Wahrscheinlichkeit eines neuen zufällig ausgewählten Punktes Das Fallen in das Vorhersageintervall wird nicht genau 95% betragen. Sie können dies durch Simulation sehen. Beginnen Sie mit einem bekannten Regressionsmodell mit allen bekannten Parametern. Wählen Sie eine Stichprobe (über viele x-Werte) aus dieser Beziehung, passen Sie eine Regression an, und Berechnen der Vorhersageintervalle. Generieren Sie nun erneut eine große Anzahl neuer Datenpunkte aus dem echten Modell und vergleichen Sie diese mit den Vorhersageintervallen. Ich habe dies einige Male mit dem folgenden R-Code gemacht:

x <- 1:25
y <- 5 + 3*x + rnorm(25, 0, 5)
plot(x,y)

fit <- lm(y~x)
tmp <- predict(fit, data.frame(x=1:25), interval='prediction')

sapply( 1:25, function(x){ 
    y <- rnorm(10000, 5+3*x, 5)
    mean( tmp[x,2] <= y & y <= tmp[x,3] )
})

Ich habe den obigen Code einige Male ausgeführt (ungefähr 10, aber ich habe nicht sorgfältig gezählt) und die meiste Zeit lag der Anteil der neuen Werte, die in die Intervalle fielen, im Bereich von 96% bis 98%. Ich hatte einen Fall, in dem die geschätzte Standardabweichung sehr gering war und die Anteile im Bereich von 93% bis 94% lagen, der Rest lag jedoch über 95%. Ich würde mich also über Ihre Aussage 1 mit der Änderung auf "ungefähr 95%" freuen (vorausgesetzt, alle Annahmen sind wahr oder nahe genug, um in der Näherung berücksichtigt zu werden).

In ähnlicher Weise benötigt Aussage 2 ein "ungefähr" oder ähnliches, da wir zur Abdeckung unserer Unsicherheit im Durchschnitt mehr als 95% erfassen.

Der zweite ist besser. Die erste hängt davon ab, welche anderen Informationen bekannt sind.

In einem zufälligen Beispiel würde "95% der Intervalle (bei 95% Konfidenz) den wahren Mittelwert von [Variable einfügen] enthalten".

Wenn andererseits ein Ergebnis offensichtlich kontraintuitiv ist, können wir nicht behaupten (1).

ZB "Mein Signifikanztest bei 95% Sicherheit zeigt, dass Größe und Gewicht negativ korrelieren". Nun, das ist offensichtlich falsch und wir können nicht sagen, dass es eine "95% ige Wahrscheinlichkeit gibt, dass es wahr ist". Unter Berücksichtigung des Vorwissens besteht in der Tat eine sehr geringe Wahrscheinlichkeit, dass dies der Fall ist. Es ist jedoch gültig zu sagen, dass "95% solcher Tests ein korrektes Ergebnis erbracht hätten ".