Ich wähle die Aktivierungsfunktion für die Ausgabeebene abhängig von der Ausgabe, die ich benötige, und den Eigenschaften der Aktivierungsfunktion, die ich kenne. Zum Beispiel wähle ich die Sigmoid-Funktion, wenn ich mich mit Wahrscheinlichkeiten befasse, eine ReLU, wenn ich mich mit positiven...
Ich denke, dass der Vorteil der Verwendung von Leaky ReLU anstelle von ReLU darin besteht, dass wir auf diese Weise keinen verschwindenden Gradienten haben können. Die parametrische ReLU hat den gleichen Vorteil mit dem einzigen Unterschied, dass die Steigung des Ausgangs für negative Eingänge ein...
Ich bin gerade auf das Konzept der Neuronenabdeckung gestoßen, bei dem es sich um das Verhältnis von aktivierten Neuronen und Gesamtneuronen in einem neuronalen Netzwerk handelt. Aber was bedeutet es für ein Neuron, "aktiviert" zu werden? Ich weiß, was Aktivierungsfunktionen sind, aber was bedeutet...
Es gibt verschiedene Aktivierungsfunktionen wie ReLU, Sigmoid oder . Was passiert, wenn ich Aktivierungsfunktionen mische?tanhtanh\tanh Ich habe kürzlich festgestellt, dass Google die Swish-Aktivierungsfunktion (x * sigmoid) entwickelt hat. Kann durch Ändern der Aktivierungsfunktion die Genauigkeit...
Warum sollte eine Aktivierungsfunktion eines neuronalen Netzwerks differenzierbar sein? Ist es unbedingt notwendig oder nur