Als «batch-normalization» getaggte Fragen

20

Wie und warum verwendet die Batch-Normalisierung gleitende Mittelwerte, um die Genauigkeit des Modells während des Trainings zu verfolgen?

Ich habe das Batch-Normalisierungspapier ( 1) gelesen und nicht verstanden, dass es notwendig ist, gleitende Durchschnitte zu verwenden, um die Genauigkeit des Modells zu verfolgen, und selbst wenn ich akzeptiere, dass dies das Richtige ist, verstehe ich es nicht was sie genau tun. Nach meinem...

12

Matrixform der Rückausbreitung mit Chargennormalisierung

Der Batch-Normalisierung wurden erhebliche Leistungsverbesserungen in tiefen neuronalen Netzen zugeschrieben. Zahlreiches Material im Internet zeigt, wie es von Aktivierung zu Aktivierung umgesetzt werden kann. Ich habe Backprop bereits mithilfe der Matrixalgebra implementiert, und da ich in...

machine-learning neural-networks deep-learning backpropagation batch-normalization

11

Warum hat die Chargennorm eine lernbare Skalierung und Verschiebung?

Soweit ich weiß, normalisiert die Batch-Norm alle Eingabemerkmale einer Schicht auf eine Einheitsnormalverteilung . Der Mittelwert und die Varianz μ , σ 2 werden geschätzt, indem ihre Werte für die aktuelle Mini-Charge gemessen werden.N.( μ = 0 , σ= 1 )N(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ ,...

batch-normalization

8

Gibt es Möglichkeiten, mit dem verschwindenden Gradienten für die Sättigung von Nichtlinearitäten umzugehen, bei denen keine Chargennormalisierung oder ReLu-Einheiten erforderlich sind?

Ich wollte ein Netzwerk mit Nichtlinearitäten trainieren, die unter dem Verschwinden leiden (oder dem explodierenden Gradientenproblem, obwohl es hauptsächlich verschwindet). Ich weiß, dass die (derzeitige) Standardmethode darin besteht, die Chargennormalisierung 1 [BN] 1 zu verwenden oder einfach...

machine-learning neural-networks conv-neural-network batch-normalization

7

Wie berechnet die Chargennormalisierung die Bevölkerungsstatistik nach dem Training?

Ich habe das Papier zur Chargennormalisierung (BN) (1) gelesen und es stand: Zu diesem Zweck verwenden wir nach dem Training des Netzwerks die Normalisierung Verwendung der Grundgesamtheit anstelle von mini -Batch, Statistiken.x^=x - E.[ x ]V.a r [ x ] + ϵ- -- -- -- -- -- -- -- -√x^=x-...

machine-learning neural-networks deep-learning conv-neural-network batch-normalization