Was sagt uns die VC-Dimension über Deep Learning?

15

Im grundlegenden maschinellen Lernen lernen wir die folgenden "Faustregeln":

a) Die Größe Ihrer Daten sollte mindestens das 10-fache der Größe der VC-Dimension Ihres Hypothesensatzes betragen.

b) Ein neuronales Netz mit N Anschlüssen hat eine VC-Dimension von ungefähr N.

Wenn also ein Deep Learning-neuronales Netzwerk Millionen von Einheiten umfasst, sollten wir dann beispielsweise Milliarden von Datenpunkten haben? Können Sie bitte etwas Licht ins Dunkel bringen?

machine-learning neural-networks deep-learning vc-dimension Fequish
quelle
Ein tiefes neuronales Netzwerk wird nicht Millionen von Einheiten haben, wie Sie angeben. Es wird jedoch Millionen von Verbindungen haben. Ich gehe davon aus, dass Ihre zweite Faustregel für diese Netzwerke nicht gilt, hauptsächlich aufgrund ihrer Regularisierung (z. B. CNN mit Ausfall).
Pir
Ich denke, der Schlüssel ist, dass VC gebunden ist nicht unendlich. Wenn es endlich ist, sagt uns die PAC-Theorie, dass Lernen machbar ist. Wie viele Daten, das ist eine andere Frage.
Vladislavs Dovgalecs

Antworten:

4

Die Faustregel, von der Sie sprechen, kann nicht auf ein neuronales Netzwerk angewendet werden.

Ein neuronales Netzwerk hat einige grundlegende Parameter, dh seine Gewichte und Vorurteile. Die Anzahl der Gewichte hängt von der Anzahl der Verbindungen zwischen den Netzwerkschichten ab, und die Anzahl der Verzerrungen hängt von der Anzahl der Neuronen ab.

Die Größe der erforderlichen Daten hängt in hohem Maße von folgenden Faktoren ab:

  1. Der Typ des verwendeten neuronalen Netzwerks .
  2. Die im Netz verwendeten Regularisierungstechniken .
  3. Die Lernrate, die beim Trainieren des Netzes verwendet wird.

Vor diesem Hintergrund ist die Überprüfung, ob der Validierungsfehler in der Nähe des Trainingsfehlers liegt, die richtige und sichere Methode, um festzustellen, ob das Modell überpasst. Wenn ja, funktioniert das Modell einwandfrei. Wenn nein, ist das Modell höchstwahrscheinlich überangepasst. Dies bedeutet, dass Sie die Größe Ihres Modells reduzieren oder Regularisierungstechniken einführen müssen.

Azrael
quelle
Sie müssen Spaß machen, wenn Sie sagen, dass der beste Weg, um zu verstehen, ob das Modell überpassend ist, darin besteht, zu überprüfen, ob der Validierungsfehler in der Nähe des Trainingsfehlers liegt.
nbro
5
@nbro, wenn Sie ein geeignetes Hold-Out-Set haben, um den Validierungsfehler zu überprüfen, ist dies ein weitaus zuverlässigeres Maß für die Überanpassung Ihres speziell trainierten Netzwerks als das Durchlaufen von normalerweise sehr losen VC-Grenzen.
Dougal
@Dougal Du wiederholst nur, was du in deiner Antwort gesagt hast.
nbro
2
Nicht meine Antwort @nbro. Bei einem gegebenen Validierungssatz können Sie jedoch eine triviale Wahrscheinlichkeit für den tatsächlichen Generalisierungsfehler bei Höffding oder ähnlichem erhalten, während das Durchlaufen von VC-Grenzen eine Menge loser Obergrenzen beinhaltet, die nicht spezifisch für das jeweilige Dataset und Netzwerk sind, in dem Sie sich befinden Hand.
Dougal