Ockhams Rasiermesser veraltet?

Ich habe Vapniks Bücher über statistisches Lernen gesehen ... Ich habe die ersten Kapitel gelesen. Was mich jedenfalls am meisten überraschte, war, dass er dachte, das Rasiermesser des Occam sei veraltet.

Ich dachte, es hängt mit der Situation zusammen, in der die Annahme einer höheren Dimension die Passform erheblich verbessert.

Bin ich richtig verstanden? Ist es richtig, dass Occams Rasiermesser nicht mehr richtig sein kann, wie Vapnik sagte?

Gibt es ein Argument dafür, dass Occams Rasiermesser nicht als Standard betrachtet werden sollte?

Die genauen Sätze stammen aus dem Vorwort zur zweiten Ausgabe von The Nature of Statistical Learning und lauten wie folgt:

Die Jahre seit der ersten Ausgabe des Buches haben auch die allgemeine Philosophie in unserem Verständnis der Natur des Induktionsproblems verändert. Nach vielen erfolgreichen Experimenten mit SVM wurden die Forscher entschlossener, die klassische Philosophie der Generalisierung zu kritisieren, die auf dem Prinzip von Occams Rasiermesser basiert. "

Ich wünschte, jemand könnte die Kritik an Occams Rasiermesser näher erläutern.

Kommt darauf an, was du für das "Occam-Rasiermesser" hältst; Die ursprüngliche Formulierung ist ein unklarer theologischer Hokuspokus, so dass sie zu einer Reihe von (oft inkompatiblen) Interpretationen aufblühte.

Vapnik kritisiert die ultranaive Version und sagt weniger, dass ein Modell mit einer geringeren Anzahl angepasster Parameter besser ist, weil zu viele Parameter eine Überanpassung bedeuten, dh etwas in der Melodie des Runge-Paradoxons .
Es ist natürlich falsch beim maschinellen Lernen, weil die "Gier der Anpassung" dort nicht durch die Zahlenparameter, sondern (über eine Heuristik) durch die Modellgenauigkeit der zukünftigen Daten eingeschränkt wird.

Aber bedeutet das, dass ML-Training ohne Notwendigkeit Pluralität einführt? Ich persönlich würde nein sagen, hauptsächlich aufgrund des zweiten Teils - ML-Modelle sind normalerweise besser als handrasierte klassische Regressionen, daher zahlt sich diese zusätzliche Komplexität aus. Selbst wenn es von einem Menschen auf eine einfachere Theorie reduziert werden kann, kostet dies fast immer zusätzliche Annahmen, so dass es kein fairer Vergleich ist.