Wie erhalte ich einen Konfidenzwert für Vorhersagen?

Antworten:

7

Unabhängig vom Modell können Sie immer den nicht parametrischen Bootstrap verwenden, um ein Konfidenzintervall für jeden Parameter zu erstellen, einschließlich Vorhersagen (die selbst Zufallsvariablen sind, aber als Erwartungen angegeben werden). Hier ist das allgemeine Verfahren:

  1. Lassen N. Geben Sie die Anzahl der Beobachtungen in Ihren Trainingsdaten an X., und xj bezeichnen die spezifische Beobachtung, deren Vorhersage, y^j, Sie möchten ein CI für.
  2. Lassen K. bezeichnen eine bestimmte Anzahl von Resampling-Iterationen (muss sein 20 für ein CI mit Abdeckung 95%.)
  3. Zum ich im K., zeichne ein N. Zufallsstichproben aus X.mit Ersatz. Bezeichne diesX.ich
  4. Trainiere ein Modell weiter X.ich und verwenden Sie dieses Modell, um eine Vorhersage zu bilden xj. Nennen Sie dasy^jich
  5. Schätzen Sie die Verteilungsparameter für y^jaus Ihrer Probe. EIN100- -α CI wird von der gegeben α2 und 100- -α2 Perzentile von y^j.
David Marx
quelle
1
Gibt es eine Möglichkeit, dieses Konfidenzintervall für ein bereits trainiertes Modell zu erhalten?
Rodrigo Nader
1
Nicht, dass ich davon Wüste. Wenn Sie so tun, als wären Ihre Residuen iid (wahrscheinlich nicht mit diesen Modellen), können Sie die Verteilung der Residuen direkt abschätzen und daraus Vorhersageintervalle ableiten. Ich bin mir nicht sicher, ob das Ihren Bedürfnissen entspricht. Wenn Sie versuchen zu ermitteln, bei welchen Vorhersagen Ihr Modell mehr oder weniger "sicher" ist, erhalten Sie dies nicht.
David Marx
@davidmarx warum brauchen wir die iid-Annahme? Wenn wir über genügend Validierungsdaten verfügen, können wir dann die Fehler nicht als zu schätzenden Parameter betrachten und ein zweites Regressionsmodell für ihre Schätzung erstellen?
Ihadanny