Kann ein neuronales Netzwerk (z. B. ein Faltungs-Neuronales Netzwerk) negative Gewichte haben?

13

Ist es möglich, negative Gewichte (nach genügend Epochen) für tiefe Faltungs-Neuronale Netze zu haben, wenn wir ReLU für alle Aktivierungsschichten verwenden?

machine-learning neural-networks deep-learning conv-neural-network RockTheStar
quelle
Ich sehe keinen Grund, warum sie nicht negativ sein können. Gibt es einen bestimmten Grund / eine bestimmte Beobachtung, an die Sie denken?
Sobi
Ich stelle mir nur den Prozess der SGD vor und denke darüber nach, ob negatives Gewicht üblich und möglich ist.
RockTheStar
Er dachte daran, weil "Gewicht" Synapsen ähnelt, den Verbindungen zwischen den Neuronen. Wie können wir also -2 Synapsen in Richtung eines Neurons haben? Ich bin hier gestolpert, nachdem ich genau dasselbe bei Google gesucht hatte ... Ich denke, es könnte sowieso möglich sein, es könnte schließlich eine fehlende Synapse oder einen fehlenden Link und die "Hopfen" bedeuten, um das b von einer anderen Seite zu erreichen, die vom Kalkül abgezogen wird. aber ich bin nicht wirklich sicher, denke nur
Versuchen Sie

Antworten:

10

Gleichgerichtete lineare Einheiten (ReLUs) geben nur die Ausgabe aus der Neuronen nur nicht negativ. Die Parameter des Netzwerks können und werden jedoch abhängig von den Trainingsdaten positiv oder negativ werden.

Hier sind zwei Gründe, die ich mir gerade vorstellen kann und die (intuitiv) rechtfertigen, warum einige Parameter negativ werden würden:

  1. ℓ2

  2. IOwEw∂E∂w=(∑k=1K∂E∂Ok)⋅∂Ok∂wOk=O,∀k

Geben Sie hier die Bildbeschreibung ein

Sobi
quelle
Vielen Dank. Ich denke, deine Antwort macht für mich Sinn.
RockTheStar
1

Stellen Sie sich vor, Sie haben optimale Gewichte, die alle nicht negativ sind.

xi′=−xi{xi′,y}

Nakajuice
quelle
-3

Es sei denn, Sie verwenden eine andere Aktivierungsfunktion, beispielsweise Leaky ReLU. Das korrigierte Gewicht der Schichten nach dem ersten ist nicht negativ, unabhängig davon, wie viele Epochen im Training sind.

Pateheo
quelle
1
Vielen Dank! Können Sie etwas mehr Details darüber erklären, wie Leaky ReLU zu negativem Gewicht führen kann?
RockTheStar
Scheint, als ob die Behauptung nicht wahr ist. Ich habe ein Training in einem ReLU-aktivierten Netzwerk durchgeführt. Die Matrizen in der affinen Transformation ("Ws") und die Offsets ("b's"), von denen ich annehme, dass sie in dieser Frage als Gewichte bezeichnet werden, erhalten negative Werte.
Sie