Kann ein neuronales Netzwerk (z. B. ein Faltungs-Neuronales Netzwerk) negative Gewichte haben?

13

Ist es möglich, negative Gewichte (nach genügend Epochen) für tiefe Faltungs-Neuronale Netze zu haben, wenn wir ReLU für alle Aktivierungsschichten verwenden?

— RockTheStar
quelle

Ich sehe keinen Grund, warum sie nicht negativ sein können. Gibt es einen bestimmten Grund / eine bestimmte Beobachtung, an die Sie denken?

— Sobi

Ich stelle mir nur den Prozess der SGD vor und denke darüber nach, ob negatives Gewicht üblich und möglich ist.

— RockTheStar

Er dachte daran, weil "Gewicht" Synapsen ähnelt, den Verbindungen zwischen den Neuronen. Wie können wir also -2 Synapsen in Richtung eines Neurons haben? Ich bin hier gestolpert, nachdem ich genau dasselbe bei Google gesucht hatte ... Ich denke, es könnte sowieso möglich sein, es könnte schließlich eine fehlende Synapse oder einen fehlenden Link und die "Hopfen" bedeuten, um das b von einer anderen Seite zu erreichen, die vom Kalkül abgezogen wird. aber ich bin nicht wirklich sicher, denke nur

— Versuchen Sie

10

Gleichgerichtete lineare Einheiten (ReLUs) geben nur die Ausgabe aus der Neuronen nur nicht negativ. Die Parameter des Netzwerks können und werden jedoch abhängig von den Trainingsdaten positiv oder negativ werden.

Hier sind zwei Gründe, die ich mir gerade vorstellen kann und die (intuitiv) rechtfertigen, warum einige Parameter negativ werden würden:

$\ell 2$
$I$ $O$ $w$ $E$ $w$ $\frac{\partial E}{\partial w} = \left( \sum_{k=1}^K\frac{\partial E}{\partial O_k} \right) \cdot \frac{\partial O_k}{\partial w}$ $O_k = O, \forall k$

— Sobi
quelle

Vielen Dank. Ich denke, deine Antwort macht für mich Sinn.

— RockTheStar

1

Stellen Sie sich vor, Sie haben optimale Gewichte, die alle nicht negativ sind.

$x'_i = -x_i$ $\{x'_i,y\}$

— Nakajuice
quelle

-3

Es sei denn, Sie verwenden eine andere Aktivierungsfunktion, beispielsweise Leaky ReLU. Das korrigierte Gewicht der Schichten nach dem ersten ist nicht negativ, unabhängig davon, wie viele Epochen im Training sind.

— Pateheo
quelle

1

Vielen Dank! Können Sie etwas mehr Details darüber erklären, wie Leaky ReLU zu negativem Gewicht führen kann?

— RockTheStar

Scheint, als ob die Behauptung nicht wahr ist. Ich habe ein Training in einem ReLU-aktivierten Netzwerk durchgeführt. Die Matrizen in der affinen Transformation ("Ws") und die Offsets ("b's"), von denen ich annehme, dass sie in dieser Frage als Gewichte bezeichnet werden, erhalten negative Werte.

— Sie