Als «relu» getaggte Fragen

Was sind die Vorteile von ReLU gegenüber Leaky ReLU und Parametric ReLU (falls vorhanden)?

Ich denke, dass der Vorteil der Verwendung von Leaky ReLU anstelle von ReLU darin besteht, dass wir auf diese Weise keinen verschwindenden Gradienten haben können. Die parametrische ReLU hat den gleichen Vorteil mit dem einzigen Unterschied, dass die Steigung des Ausgangs für negative Eingänge ein...

Was passiert, wenn ich Aktivierungsfunktionen mische?

Es gibt verschiedene Aktivierungsfunktionen wie ReLU, Sigmoid oder . Was passiert, wenn ich Aktivierungsfunktionen mische?tanhtanh\tanh Ich habe kürzlich festgestellt, dass Google die Swish-Aktivierungsfunktion (x * sigmoid) entwickelt hat. Kann durch Ändern der Aktivierungsfunktion die Genauigkeit...