Optimale Anzahl von Schichten in einem neuronalen Netzwerk?

Wie kann die optimale Anzahl von Schichten festgelegt werden, die bei der Implementierung eines neuronalen Netzwerks erstellt werden sollen (Feedforward, Back Propagation oder RNN)?

Es gibt eine Technik, die Pruningin neuronalen Netzen genannt wird und genau zu diesem Zweck verwendet wird.

Das Beschneiden erfolgt anhand der Anzahl der ausgeblendeten Schichten. Der Prozess ähnelt stark dem Bereinigungsprozess von Entscheidungsbäumen. Der Schnittvorgang läuft wie folgt ab:

• Trainieren Sie ein großes, dicht verbundenes Netzwerk mit einem Standard-Trainingsalgorithmus
• Untersuchen Sie das trainierte Netzwerk, um festzustellen, wie wichtig die Gewichte sind
• Entfernen Sie die unwichtigsten Gewichte
• Bilden Sie das beschnittene Netzwerk neu aus
• Wiederholen Sie die Schritte 2 bis 4, bis Sie zufrieden sind

Es gibt jedoch mehrere optimierte Methoden zum Beschneiden neuronaler Netze, und es ist auch ein sehr aktives Forschungsgebiet .

Sie können die bayesianische Hyperparameteroptimierung als allgemeine Methode zur Optimierung des Verlusts (oder anderer Faktoren) in Abhängigkeit von den Hyperparametern betrachten. Beachten Sie jedoch, dass die Optimierung des Verlusts in Abhängigkeit von der Anzahl der Ebenen im Allgemeinen keine sehr unterhaltsame Sache ist, je tiefer Ihr Netzwerk ist.

Rastersuche und ein bisschen gesunder Menschenverstand (wie aus vielen Beispielen hervorgeht) sollten die beste Wahl sein.