Wie werden Vorhersagebänder für die nichtlineare Regression berechnet?

15

Die Hilfeseite für Prisma enthält die folgenden Erläuterungen zur Berechnung der Vorhersagebänder für die nichtlineare Regression. Bitte entschuldigen Sie das lange Zitat, aber ich nicht dem zweiten Absatz (der erklärt, wie G|x definiert und berechnet wird). Jede Hilfe wäre sehr dankbar.dY./dP

Die Berechnung der Konfidenz- und Vorhersagebänder ist ziemlich normal. Im Folgenden erfahren Sie, wie Prism die Vorhersage- und Konfidenzbänder der nichtlinearen Regression berechnet.

Definieren wir zunächst G | x, das ist der Gradient der Parameter bei einem bestimmten Wert von X und unter Verwendung aller am besten passenden Werte der Parameter. Das Ergebnis ist ein Vektor mit einem Element pro Parameter. Für jeden Parameter wird er als dY / dP definiert, wobei Y der Y-Wert der Kurve ist, wenn der jeweilige Wert von X und alle am besten passenden Parameterwerte angegeben sind, und P einer der Parameter ist.)

G '| x ist der transponierte Gradientenvektor, es handelt sich also eher um eine Spalte als um eine Reihe von Werten.

Cov ist die Kovarianzmatrix (inverses Hessisch aus der letzten Iteration). Es ist eine quadratische Matrix, bei der die Anzahl der Zeilen und Spalten der Anzahl der Parameter entspricht. Jedes Element in der Matrix ist die Kovarianz zwischen zwei Parametern.

Berechnen Sie nun c = G '| x * Cov * G | x. Das Ergebnis ist eine einzelne Zahl für einen beliebigen Wert von X.

Das Konfidenz- und das Vorhersageband sind auf der Best-Fit-Kurve zentriert und erstrecken sich über und unter der Kurve um den gleichen Betrag.

Die Konfidenzbänder erstrecken sich über und unter der Kurve um: = sqrt (c) * sqrt (SS / DF) * CriticalT (Confidence%, DF)

Die Vorhersagebänder erstrecken sich über und unter der Kurve um einen weiteren Abstand, der gleich ist: = sqrt (c + 1) * sqrt (SS / DF) * CriticalT (Confidence%, DF)

Joe Listerr
quelle
Dies ist in der Tat als Delta-Methode bekannt und verwendet eine Taylor-Approximation erster Ordnung. Es ist jedoch besser, dafür eine Taylor-Approximation 2. Ordnung zu verwenden - die predictNLS-Funktion im propagate-Paket erledigt das, wenn Sie interessiert sind!
Tom Wenseleers

Antworten:

18

Dies wird als Delta-Methode bezeichnet.

Angenommen, Sie haben eine Funktion ; Beachten Sie, dass G ( ) eine Funktion der von Ihnen geschätzten Parameter β und der Werte Ihrer Prädiktoren x ist . Ermitteln Sie zunächst die Ableitung dieser Funktion in Bezug auf Ihren Parametervektor β : G ( β , x ).y=G(β,x)+ϵG()βxβG(β,x). Das heißt, wenn Sie einen Parameter ein wenig ändern, wie stark ändert sich Ihre Funktion? Beachten Sie, dass diese Ableitung eine Funktion Ihrer Parameter selbst sowie der Prädiktoren sein kann. Wenn zum Beispiel , dann ist die Ableitung x exp ( β x ) , was von dem Wert von β und dem Wert von x abhängt . Um zu bewerten , dies, stecken Sie in der Schätzung von β , dass Ihr Verfahren gibt, β , und den Wert des Prädiktors xG(β,x)=exp(βx)xexp(βx)βxββ^x wo Sie die Vorhersage wollen.

Die Delta - Methode, abgeleitet von Maximum - Likelihood - Verfahren, gibt an, dass die Varianz von sein wird G ' ( β , x ) T Var ( β ) G ' ( β , x ) , wobei var ( β )G(β^,x)

G(β^,x)TVar(β^)G(β^,x),
Var(β^)ist die Varianz-Kovarianz-Matrix Ihrer Schätzungen (dies entspricht der Umkehrung des Hessischen - der zweiten Ableitung der Wahrscheinlichkeitsfunktion bei Ihren Schätzungen). Die von Ihren Statistikpaketen verwendete Funktion berechnet diesen Wert für jeden unterschiedlichen Wert des Prädiktors . Dies ist nur eine Zahl und kein Vektor für jeden Wert von x .xx

Dies gibt die Varianz des Wertes der Funktion an jedem Punkt an und wird wie jede andere Varianz bei der Berechnung von Konfidenzintervallen verwendet: Nehmen Sie die Quadratwurzel dieses Wertes, multiplizieren Sie mit dem kritischen Wert für die normale oder anwendbare t- Verteilung, die für a relevant ist bestimmten Konfidenzniveau und addieren und subtrahieren Sie diesen Wert zur Schätzung von am Punkt.G()

Für Vorhersageintervalle müssen wir die Varianz des Ergebnisses unter Berücksichtigung der Prädiktoren , Var ( y x ) σ 2 berücksichtigen. Daher müssen wir unsere Abweichung von der Delta - Methode durch unsere Schätzung der Varianz steigern ε , σ 2 , die Varianz zu erhalten y , anstatt die Varianz von dem erwarteten Wert von y , die für Konfidenzintervall verwendet wird. Beachten Sie, dass σ 2 ist die Summe der quadratischen Fehler ( in Hilfedatei Notation) durch die Freiheitsgrade unterteilt ( ).xVar(yx)σ2ϵσ^2yyσ^2SSDF

cσ2σ-2σc*SS/DF

c(xx)-1Var(β^)=σ2(xx)-1

Charlie
quelle
Können Sie die ci-Berechnung erklären? Sieht nicht nach einem kritischen Punkt von t * sqrt (var) aus
B_Miner
Ich denke, dass ich ihre Berechnung verstehe; Ich habe meine Antwort aktualisiert.
Charlie
Charlie, vielen Dank für eine ausführliche Antwort. Ich beabsichtige, Code zu schreiben, um das 95% Vorhersageband berechnen zu können. Ich werde Sie wissen lassen, wie das geht.
Joe Listerr
@ Charlie - sehr, sehr schön!
B_Miner
2
@Charlie. Vielen Dank. Ich habe unserer GraphPad Prism-FAQ einen Satz hinzugefügt, der erklärt, dass cov die normalisierte Kovarianzmatrix bedeutet (jeder Wert reicht von -1 bis 1). Ich habe auch einen Link zu dieser Seite hinzugefügt, der sich hervorragend für alle eignet, die nach mathematischen Details suchen.
Harvey Motulsky