Optimierung: Die Wurzel allen Übels in der Statistik?

Ich habe den folgenden Ausdruck schon einmal gehört:

"Optimierung ist die Wurzel allen Übels in der Statistik".

Die beste Antwort in diesem Thread gibt diese Aussage beispielsweise in Bezug auf die Gefahr einer zu aggressiven Optimierung bei der Modellauswahl wieder.

Meine erste Frage lautet wie folgt: Kann dieses Zitat jemand anderem zugeschrieben werden? (zB in der Statistikliteratur)

Soweit ich weiß, bezieht sich die Aussage auf die Risiken einer Überanpassung. Traditionelle Erkenntnisse besagen, dass eine korrekte Kreuzvalidierung bereits gegen dieses Problem vorgeht, aber es sieht so aus, als gäbe es bei diesem Problem noch mehr.

Sollten Statistiker und ML-Praktiker vorsichtig sein, ihre Modelle zu optimieren, selbst wenn sie strenge Kreuzvalidierungsprotokolle einhalten (z. B. 100 verschachtelte 10-fache CV)? Wenn ja, woher wissen wir, wann wir aufhören müssen, nach dem "besten" Modell zu suchen?

Das Zitat ist eine Umschreibung eines Donald Knuth-Zitats , das er Hoare selbst zuschrieb. Drei Auszüge aus der obigen Seite:

Vorzeitige Optimierung ist die Wurzel allen Übels (oder zumindest des größten Teils davon) in der Programmierung.

Vorzeitige Optimierung ist die Wurzel allen Übels.

Knuth nennt dies 15 Jahre später "Hoare's Dictum" ...

Ich weiß nicht, dass ich mit der Statistik-Umschreibung * einverstanden bin. In der Statistik gibt es jede Menge "Böses", das nichts mit Optimierung zu tun hat.

Sollten Statistiker und ML-Praktiker immer vorsichtig sein, ihre Modelle zu optimieren, auch wenn sie strenge Kreuzvalidierungsprotokolle einhalten (z. B. 100 verschachtelte 10-fache Lebensläufe)? Wenn ja, woher wissen wir, wann wir aufhören müssen, nach dem "besten" Modell zu suchen?

Ich denke, das Entscheidende ist, die Eigenschaften der von Ihnen durchgeführten Verfahren vollständig (oder so vollständig wie möglich) zu verstehen.

$\,^\text{* I won't presume to comment on Knuth's use of it, since there's little I could}$ $\quad ^\text{say that he couldn't rightly claim to understand ten times as well as I do.}$

Eine Reihe von Möglichkeiten, wie Sie das Zitat (in Statistiken) analysieren können, vorausgesetzt, die Optimierung bezieht sich auf die (datenbasierte) Modellauswahl:

• Wenn Sie sich für die Vorhersage interessieren, ist die Modellmittelung möglicherweise besser als die Auswahl eines einzelnen Modells.
• Wenn Sie ein Modell für denselben Datensatz auswählen, der für das Modell verwendet wird, wird dies die üblichen Inferenz-Tools / -Prozeduren ruinieren, die davon ausgehen, dass Sie das Modell von vornherein ausgewählt haben . (Angenommen, Sie führen eine schrittweise Regression durch und wählen die Modellgröße durch Kreuzvalidierung. Bei einer Frequentist-Analyse sind die üblichen p-Werte oder CIs für das ausgewählte Modell nicht korrekt. Ich bin sicher, dass es bei Bayes'schen Analysen, bei denen es sich um Modelle handelt, entsprechende Probleme gibt Auswahl.)
• Wenn Ihr Datensatz im Vergleich zu der von Ihnen in Betracht gezogenen Modellfamilie groß genug ist, ist eine Überanpassung möglicherweise kein Problem und eine Modellauswahl ist möglicherweise nicht erforderlich. (Nehmen wir an, Sie passen eine lineare Regression an, indem Sie ein Dataset mit wenigen Variablen und sehr vielen Beobachtungen verwenden. Bei allen unechten Variablen sollten die Koeffizienten ohnehin auf nahe 0 geschätzt werden. Vielleicht müssen Sie sich also nicht einmal die Mühe machen, ein kleineres Modell auszuwählen.)
• Wenn Ihr Dataset klein genug ist, verfügen Sie möglicherweise nicht über genügend Daten, um das "wahre" oder "beste" Modell für das Problem zu ermitteln. Was bedeutet es in diesem Fall überhaupt, die Modellauswahl gut zu machen? (Zurück zur linearen Regression: sollten Sie zielen darauf ab, das „wahre“ Modell mit den richtigen Variablen zu wählen, auch wenn Sie nicht genug Daten , um sie alle angemessen zu messen , sollten Sie nur das größte Modell auswählen , für die Sie haben genügend Daten ?)
• Auch wenn klar ist, dass Sie eine Modellauswahl vornehmen können und sollten, ist eine Kreuzvalidierung kein Allheilmittel. Es hat viele Varianten und sogar einen eigenen Abstimmungsparameter (Anzahl der Falten oder Zug: Test-Verhältnis), der sich auf seine Eigenschaften auswirkt. Vertraue es also nicht blind.