VC-Dimension von Regressionsmodellen

In der Vorlesungsreihe Learning from Data erwähnt der Professor, dass die VC-Dimension die Komplexität des Modells daran misst, wie viele Punkte ein bestimmtes Modell zerbrechen kann. Dies funktioniert also perfekt für Klassifizierungsmodelle, bei denen wir aus N Punkten sagen können, ob der Klassifizierer in der Lage ist, k Punkte effektiv zu zerschmettern. Das VC-Dimensionsmaß wäre K. Es war mir jedoch nicht klar, wie man die VC-Dimension für Regressionsmodelle misst ?

regression machine-learning vc-dimension karthikbharadwaj
quelle

Siehe cs.stackexchange.com/questions/11548/… ncbi.nlm.nih.gov/pubmed/18252610

kjetil b halvorsen

Antworten:

Aus Elementen des statistischen Lernens , p. 238:

Bisher haben wir die VC-Dimension nur von Indikatorfunktionen diskutiert, dies kann jedoch auf reelle Funktionen erweitert werden. Die VC-Dimension einer Klasse von reellen Funktionen ist definiert als die VC-Dimension der Indikatorklasse , wobei ${g(x, \alpha)}$ ${\mathbb{1}(g(x, \alpha) − \beta > 0)}$ $\beta$ Werte über den Bereich von annimmt G.

Oder, (etwas) intuitiver, um die VC-Dimension einer Klasse von reellen Funktionen zu finden, kann man die VC-Dimension der Klasse von Indikatorfunktionen finden, die durch Schwellenwertbildung dieser Klasse von reellen Funktionen gebildet werden kann.

Sean Easter
quelle

Dies gibt jedoch die VC-Dimension für Schwellenwertindikatoren an, und beim Nennwert sehe ich nicht, wie das Abrufen von PAC-Grenzen für Schwellenwertindikatoren viel über die Leistung Ihrer Regressionsfunktion aussagt. Vielleicht können Sie ein Argument finden, bei dem Sie binär nach dem zurückgebrachten Wert suchen (für begrenzte Ausgabedomänen).

VF1

@ VF1 True. Wie die VC-Dimension einer Regressionsfunktion zu interpretieren ist, könnte eine gute, separate Frage sein.

Sean Easter

Ich würde eine separate Frage stellen, aber ich glaube, die Antwort lautet einfach "Verwenden Sie VC dim nicht für die Regression", da Rademacher Sie genauso viel für willkürlich begrenzte Verluste tun lassen würde.

VF1

@ VF1 Ich würde eine Antwort lesen, die dies mit Interesse sagte! Ich meine nur, dass die CV-Norm darin besteht, Fragen auf eine einzige Frage pro Beitrag zu beschränken, und dass das OP weder die Interpretation noch den Zweck berührt hat.

Sean Easter

In Abschnitt 5.2 des Statistischen Lernens (Vapnik) finden Sie eine Ableitung des Schwellenwertindikator-Tricks unter Verwendung von Lebesgue-Stieltjes-Maßnahmen. AFAIK dies ist die einzige und endgültige Referenz. Sie sollten bereits wissen, wo Sie das Buch finden können (und andere aus Vapnik, sie sind alle der Superlative).

memeplex
quelle

Es wäre hilfreich, wenn Sie das Argument zusammenfassen könnten, anstatt nur eine Referenz anzugeben.

Mdewey