Oracle-Ungleichung: Grundsätzlich

14

Ich gehe ein Papier durch, das Orakel-Ungleichungen verwendet, um etwas zu beweisen, aber ich kann nicht verstehen, was es überhaupt versucht. Als ich online nach "Oracle Inequality" suchte, verwiesen mich einige Quellen auf den Artikel "Candes, Emmanuel J.". finden Sie hier https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf . Aber dieses Buch scheint mir zu schwer zu sein und ich glaube, es fehlen mir einige Voraussetzungen.

Meine Frage lautet: Wie würden Sie einem Nicht-Mathematik-Hauptfach (einschließlich Ingenieuren) erklären, was eine Orakelungleichheit ist? Zweitens, wie würden Sie ihnen empfehlen, die Voraussetzungen / Themen zu besprechen, bevor Sie versuchen, etwas wie das oben erwähnte Buch zu lernen?

Ich würde wärmstens empfehlen, dass jemand, der ein konkretes Verständnis und viel Erfahrung mit hochdimensionalen Statistiken hat, diese Frage beantwortet.

Wolcott
quelle
2
Kann jemand mit mehr als 1k Ruf bitte Bounty auf diese Frage anbieten. Das würde wirklich helfen. Ich glaube nicht, dass die allgemeinen CV-Benutzer mit diesem Konzept vertraut sind, da die meisten Benutzer Statistiken für die Datenanalyse und nicht für die theoretische Analyse verwenden, obwohl ich als Community, die vollständig auf Statistiken basiert, glaube, dass es jemanden geben muss, der dies angemessen beantworten kann. Ich glaube, die Frage hat nicht genug Aufmerksamkeit erhalten.
Wolcott
1
Ich hatte über die gleiche Frage
nachgedacht
Die "Definition" auf Seite 22 des Links "Eine Orakel-Ungleichung bezieht sich auf die Leistung eines realen Schätzers mit der eines idealen Schätzers, der sich auf perfekte Informationen stützt, die von einem Orakel geliefert werden und die in der Praxis nicht verfügbar sind." Vermittelt Ihnen dies nicht die Essenz der Definition?
Mark L. Stone
2
@ Mark L. Stone für mich nicht
jeza
1
Nicht einmal, wenn Sie das Beispiel und die Diskussion in den vorangegangenen Sätzen betrachten, dh die Aussage und Diskussion von Satz 4.1 als Beispiel für eine Orakelungleichung? Laien sagen: Gee, wir kennen nicht den optimalen Wert (der von einem Orakel geliefert wird) des Schrumpfungsfaktors, den wir verwenden sollten. Aber zu wissen, dass der optimale Wert des Schrumpfungsfaktors die MSE um nicht mehr als 2 verbessern kann, im Vergleich dazu, dass der optimale Schrumpfungsfaktor des Orakels nicht erreicht wird.
Mark L. Stone

Antworten:

8

Ich werde versuchen, es in linearer Schreibweise zu erklären. Betrachten Sie das lineare Modell Wenn p n (Anzahl der unabhängigen Variablen kleiner oder gleich dann Anzahl der Beobachtung) und Design - Matrix vollen Rang hat, der mindestens squared Schätzer von b ist , b = ( X T X ) -

Yi=j=1pβjXi(j)+ϵi,i=1,...,n.
pnbund Vorhersagefehler istX ( b - β 0 ) 2 2
b^=(XTX)1XTY
, aus denen wir ableitenEX( b -β0) 2 2
X(b^β0)22σ2
Dies bedeutet, dass jeder Parameterβ 0 j mit der quadratischen Genauigkeitσ2/n,j=1,geschätztwird. . . ,p. Ihre quadratische Gesamtgenauigkeit ist also(σ2/n)p.
EX(b^β0)22n=σ2np.
βj0σ2/n,j=1,...,p.(σ2/n)p.

(p>n)Yk(σ2/n)k.

l1λβ^λλ

X(β^β0)22nconst.σ2logpnk.
logpconst.pn
Dato Gogolashvili
quelle
Genau genommen muss die Anzahl der Beobachtungen nicht kleiner sein als die Anzahl der unabhängigen Variablen, damit der gesamte nachfolgende Teil korrekt ist.
Jbowman
Können Sie erklären, wie die Erwartungsgleichung (vorletzte Gleichung) und die Ungleichung (letzte Gleichung) entstanden sind?
user13985
X(b^β0)22σ2(σ2/n)p