Was ist die VC-Dimension eines Entscheidungsbaums mit k Teilungen in zwei Dimensionen? Angenommen, das Modell ist CART und die einzigen zulässigen Teilungen verlaufen parallel zu den Achsen. Für eine Teilung können wir also 3 Punkte in einem Dreieck ordnen und dann für jede Beschriftung der Punkte...
Ich habe einige grundlegende Methoden gefunden, um die Komplexität neuronaler Netze zu messen: Naiv und informell: Zählen Sie die Anzahl der Neuronen, verborgenen Neuronen, Schichten oder verborgenen Schichten VC-Dimension (Eduardo D. Sontag [1998] "VC-Dimension neuronaler Netze" [ pdf ].) Ein...
Im grundlegenden maschinellen Lernen lernen wir die folgenden "Faustregeln": a) Die Größe Ihrer Daten sollte mindestens das 10-fache der Größe der VC-Dimension Ihres Hypothesensatzes betragen. b) Ein neuronales Netz mit N Anschlüssen hat eine VC-Dimension von ungefähr N. Wenn also ein Deep...
Wikipedia sagt das: Die VC-Dimension ist die Kardinalität der größten Menge von Punkten, die ein Algorithmus zerstören kann. Zum Beispiel hat ein linearer Klassifikator eine Kardinalität n + 1. Meine Frage ist, warum es uns interessiert? Die meisten Datensätze, für die Sie eine lineare...
Wenn ich eine feste nicht wiederkehrende (DAG) Topologie (fester Satz von Knoten und Kanten, aber der Lernalgorithmus kann das Gewicht an den Kanten variieren) von Sigmoidneuronen mit Eingangsneuronen habe, die nur Zeichenfolgen in als Eingabe und führt zu einer Ausgabe (die einen realen Wert...
In der Vorlesungsreihe Learning from Data erwähnt der Professor, dass die VC-Dimension die Komplexität des Modells daran misst, wie viele Punkte ein bestimmtes Modell zerbrechen kann. Dies funktioniert also perfekt für Klassifizierungsmodelle, bei denen wir aus N Punkten sagen können, ob der...
Ich interessiere mich für theoretische Ergebnisse für die Verallgemeinerungsfähigkeit von Support Vector Machines, z. B. Grenzen der Wahrscheinlichkeit von Klassifizierungsfehlern und der Vapnik-Chervonenkis (VC) -Dimension dieser Maschinen. Beim Lesen der Literatur hatte ich jedoch den Eindruck,...
Was ist die VC-Dimension des k-Nächsten-Nachbarn-Algorithmus, wenn k gleich der Anzahl der verwendeten Trainingspunkte ist? Kontext: Diese Frage wurde in einem Kurs gestellt, den ich belegte, und die dort angegebene Antwort war 0. Ich verstehe jedoch nicht, warum dies der Fall ist. Meine...
Das Buch "Einführung in das maschinelle Lernen" von Ethem Alpaydın besagt, dass die VC-Dimension eines achsenausgerichteten Rechtecks 4 beträgt. Aber wie kann ein Rechteck einen Satz von vier kollinearen Punkten mit abwechselnden positiven und negativen Punkten zerbrechen? Kann jemand die...