Ist eine Chargennormalisierung für eine ReLU-Aktivierungsfunktion sinnvoll?

Die Chargennormalisierung wird in diesem Artikel als Normalisierung der Eingabe in eine Aktivierungsfunktion mit den Skalierungs- und Verschiebungsvariablen und β beschrieben . In diesem Artikel wird hauptsächlich die Verwendung der Sigmoid-Aktivierungsfunktion beschrieben, was sinnvoll ist. Es scheint mir jedoch, dass das Einspeisen einer Eingabe aus der durch die Chargennormalisierung erzeugten normalisierten Verteilung in eine ReLU-Aktivierungsfunktion von m a x ( 0 , x ) riskant ist, wenn $\gamma$$\beta$$max(0,x)$$\beta$lernt nicht, die meisten Eingaben nach 0 zu verschieben, damit die ReLU keine Eingabeinformationen verliert. Das heißt, wenn die Eingabe in die ReLU nur standardmäßig normalisiert wäre, würden wir viele unserer Informationen unter 0 verlieren. Gibt es eine Garantie oder Initialisierung von , die garantiert, dass wir diese Informationen nicht verlieren? Vermisse ich etwas an der Funktionsweise von BN und ReLU?$\beta$

Dies ist ein Problem mit den ReLU-Aktivierungsfunktionen. Es wird oft als "sterbende ReLU" bezeichnet. Bei einer Eingabe über die Nullgrenze ist die Einheit jetzt fast immer geschlossen. Eine geschlossene ReLU kann ihre Eingabeparameter nicht aktualisieren, eine tote ReLU bleibt tot.

Die Lösung besteht darin, Varianten von ReLU für die Aktivierungsfunktion zu verwenden, z. B. Leaky ReLU, Noisy ReLUs oder ELUs .

Ich würde sagen, BN geht nach der ReLU und nicht vorher, im Allgemeinen sollte es zwischen zwei Ebenen platziert werden, um die PDF-Ausgabe der Ebene zu normalisieren, bevor eine weitere Ebeneingabe wird

Die Verarbeitung der konvolutiven Schicht besteht aus einer Verarbeitung von Lin (Conv Operator) + NonLin (z. B. ReLU) (als künstliche Neuronenverarbeitung), und eine sparsifizierende Nonlin-Verarbeitung wie ReLU erzeugt eine Ausgabe-PDF, die aufgrund der Filterung nicht negativ ist Wenn der BN als nächster Layer-Eingang übergeben wird, kann dies zur Renormierung beitragen