Deep Learning: Woher weiß ich, welche Variablen wichtig sind?

Wie kann ich in Bezug auf die neuronale Netzsprache (y = Gewicht * x + Voreingenommenheit) wissen, welche Variablen wichtiger sind als andere?

Ich habe ein neuronales Netz mit 10 Eingängen, 1 verborgene Schicht mit 20 Knoten und 1 Ausgangsschicht, die 1 Knoten hat. Ich weiß nicht genau, welche Eingabevariablen einen größeren Einfluss haben als andere Variablen. Ich denke, wenn eine Eingabe wichtig ist, hat sie eine stark gewichtete Verbindung zur ersten Ebene, aber die Gewichtung kann positiv oder negativ sein. Was ich also tun könnte, ist, den absoluten Wert der Gewichtungen der Eingabe zu nehmen und sie zu summieren. Die wichtigeren Eingaben hätten höhere Summen.

Wenn also zum Beispiel die Haarlänge eine der Eingaben ist, sollte sie 1 Verbindung zu jedem der Knoten in der nächsten Ebene haben, also 20 Verbindungen (und damit 20 Gewichte). Kann ich einfach den absoluten Wert jedes Gewichts nehmen und sie zusammenfassen?

Was Sie beschreiben, ist in der Tat eine Standardmethode zur Quantifizierung der Wichtigkeit von Eingaben in das neuronale Netz. Beachten Sie jedoch, dass die Eingabevariablen auf irgendeine Weise normalisiert werden müssen, damit dies funktioniert. Andernfalls werden Gewichte, die Eingabevariablen entsprechen, die tendenziell größere Werte haben, proportional kleiner. Es gibt verschiedene Normalisierungsschemata, z. B. das Abziehen des Mittelwerts einer Variablen und das Dividieren durch ihre Standardabweichung. Wenn die Variablen nicht an erster Stelle normalisiert wurden, können Sie die Gewichte selbst in der Wichtigkeitsberechnung korrigieren, z. B. mit der Standardabweichung der Variablen multiplizieren.

.$I_i = \sigma_i\sum\limits_{j = 1}^{n_\text{hidden}}\left|w_{ij}\right|$

Hier die Standardabweichung von der ist i - ten Eingang, I i die i - te Eingangs der Bedeutung, w i j wird das Gewicht des Verbindungs i - ten Eingang der j - ten versteckten Knoten in der ersten Schicht und n versteckt ist die Anzahl von versteckten Knoten in der ersten Schicht.$\sigma_i$$i$$I_i$$i$$w_{ij}$$i$$j$$n_\text{hidden}$

Eine andere Technik besteht darin, die Ableitung der Abbildung des neuronalen Netzes in Bezug auf die fragliche Eingabe zu verwenden, gemittelt über die Eingaben.

$I_i = \sigma_i\left\langle\left|\frac{dy}{dx_i}\right|\right\rangle$

Hier ist die i- te Eingabe, y ist die Ausgabe, und der Erwartungswert wird in Bezug auf den Vektor der Eingaben x genommen .$x_i$$i$$y$$\mathbf{x}$

Eine etwas brachiale, aber effektive Lösung:

Versuchen Sie, eine Eingabe zu löschen, indem Sie eine Konstante für eine Ihrer Eingabefunktionen verwenden. Trainieren Sie dann das Netzwerk für jeden der möglichen Fälle und sehen Sie, wie Ihre Genauigkeit sinkt. Wichtige Eingaben bieten den größten Vorteil für die Gesamtgenauigkeit.

$10$$5$

Für ein flaches Netzwerk ist dies ein Beispiel für die Definition der variablen Wichtigkeit.

Für ein wirklich tiefes Netzwerk reden die Leute nicht zu viel über variable Wichtigkeit. Da es sich bei den Eingaben um unformatierte Features handelt, z. B. um Pixel in einem Bild.

Die meisten , die dazu gefunden ive ist aufwendig auf aufgelistet dieser Seite genauer Sie betrachten können dies . Wenn Sie nur über lineare Modelle sprechen, müssen Sie die Gewichte normalisieren, um sie interpretierbar zu machen, aber selbst dies kann auf dem erwähnten Link mehr irreführend sein. Einige Leute haben versucht, komplexe Funktionen von Gewichten zu erstellen, um die Wichtigkeit von Eingaben zu interpretieren (Garsons, Gedeons und Milnes), aber selbst dies kann irreführend sein. Im Allgemeinen würde ich raten, die Ergebnisse mit einem Körnchen Salz zu interpretieren.

Ich stimme der Antwort von @ rhadar zu, möchte aber hinzufügen, dass anstelle eines konstanten Versuchs der Mittelwert für diesen Eingang verwendet wird, und das Netzwerk nicht umgeschult werden muss.

PS: Entschuldigung, konnte nicht mehr Links posten oder kommentieren. Habe nicht viel Reputation.

Vorausgesetzt, Sie haben:

1. Eine Klassifizierungsaufgabe
2. Ein trainiertes Modell
3. Normalisierte Features (zwischen 0 und 1)

Hat jemand versucht:

1. Die Vorurteile ausräumen
2. Übergeben Sie jedes Mal als Features einen One-Hot-Vector, bei dem alle Features mit Ausnahme von One gleich Null sind.
3. Untersuchen Sie die Ausgabe.

In diesem Fall ist der Ausgang meiner Meinung nach eine Zahl, die die "Wichtigkeit" des Merkmals angibt, da dieser Ausgang auch den Ausgang des Pfads dieses 1-Signals innerhalb des Netzwerks darstellt.

Es ist, als würde man nur eine Glühbirne in einem Labyrinth anzünden und das Licht messen, das am Ausgang austritt.