Was ist die Orakeleigenschaft eines Schätzers?

Was ist die Orakeleigenschaft eines Schätzers?
Für welche Modellierungsziele ist die Orakeleigenschaft relevant (prädiktiv, erklärend, ...)?

Sowohl theoretisch rigorose als auch (besonders) intuitive Erklärungen sind willkommen.

feature-selection model-selection estimators oracle Richard Hardy
quelle

Es wäre schön, wenn Sie die Frage aus einer Hand beantworten könnten. Einige verwandte Materialien: Zou "Der adaptive LASSO und seine Orakeleigenschaften" , S. 34 . 1 (S. 1418).

Richard Hardy

Antworten:

Ein Orakel kennt die Wahrheit: Es kennt die wahre Untergruppe und ist bereit, darauf zu reagieren. Die Orakeleigenschaft ist, dass die asymptotische Verteilung des Schätzers dieselbe ist wie die asymptotische Verteilung des MLE auf nur der wahren Unterstützung. Das heißt, der Schätzer passt sich an, die wahre Unterstützung zu kennen, ohne einen Preis zu zahlen (im Sinne der asymptotischen Verteilung).

Durch die asymptotischen Optimalitätseigenschaften des MLE, die zum Beispiel in Keeners theoretischer Statistik in Satz 9.14 diskutiert wurden, wissen wir unter einigen technischen Bedingungen, die gelten, wenn zum Beispiel der Fehler Gaußsch ist, dass wobei wir annehmen, dass der wahre Koeffizient ist auf der wahren Unterstützung . Beachten Sie, dass die Varianz der asymptotischen Verteilung umgekehrt zur Fisher-Information ist und zeigt, dass asymptotisch effizient ist. Da der MLE, der die wahre Unterstützung kennt, dies erreicht, ist dies auch als Teil der Orakeleigenschaft erforderlich.

\sqrt{n} ({\hat{β}}_{S} - β_{S}^{*}) \to N (0, I^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

Wir zahlen jedoch einen hohen nichtasymptotischen Preis: siehe zum Beispiel

Hannes Leeb, Benedikt M. Pötscher, Spärliche Schätzer und das Orakelgut oder die Rückkehr von Hodges 'Schätzer, Journal of Econometrics, Band 142, Ausgabe 1, 2008, Seiten 201-211,

was zeigt, dass das Risiko eines "Orakelschätzers" (im Sinne von Fan und Li, 2001) ein Supremum hat, das gegen unendlich geht.

user795305
quelle

-so die Orakeleigenschaft für das Lasso besagt Folgendes: Die Orakeleigenschaft besagt, dass die asymptotische Verteilung des Schätzers dieselbe ist wie die asymptotische Verteilung der logistischen LASSO-Regression auf nur die wahre Unterstützung

Annalize Azzopardi

Die Definition der Oracle-Eigenschaft hängt stark vom Kontext ab. Die sehr kurze aber präzise Antwort in linearer Regression (präzise hochdimensionale) lautet:

Ein Orakelschätzer muss bei der Parameterschätzung und Variablenauswahl konsistent sein.

Beachten Sie, dass ein Schätzer, der bei der Variablenauswahl konsistent ist, bei der Parameterschätzung nicht unbedingt konsistent ist. Weitere mathematische Definitionen finden Sie im adaptiven Lasso- Artikel oder auf diesen Folien .

TPArrow
quelle

In der adaLASSO-Studie (in meinem Kommentar verlinkt) heißt es, dass auch die Konvergenzrate optimal sein muss (zusätzlich zu einer konsistenten Schätzung). Das ist ein wichtiges und etwas schwieriges Konzept. Könnten Sie das näher erläutern?

Richard Hardy

Die Konvergenzrate ist eine kontextbezogene Annahme. Im Lasso ist es für die Anzahl der Beobachtungen. Konsistenz ist jedoch ein asymptotisches Ergebnis im Lasso.

\sqrt{n}

$\sqrt{n}$

n

$n$

TPArrow

Würden Sie also vorschlagen, das Erfordernis einer optimalen Rate bei der Definition der Orakeleigenschaft zu streichen?

Richard Hardy

In den allgemeinen Definitionen sehe ich keine Verpflichtung, die Geschwindigkeit zu erwähnen. Aber theoretisch müssen wir natürlich die optimale Geschwindigkeit kennen / bestimmen.

TPArrow

Vielen Dank. Ich wähle das, weil wir hier über eine Definition sprechen, also versuche ich, genau zu sein.

Richard Hardy