Funktionsauswahl mit Deep Learning?

Ich möchte die Wichtigkeit jedes Eingabe-Features mithilfe eines tiefen Modells berechnen.

Ich fand jedoch nur einen Artikel über die Auswahl von Funktionen mithilfe von Deep Learning - die Auswahl von Funktionen . Sie fügen eine Ebene von Knoten ein, die direkt mit jedem Feature verbunden sind, vor der ersten verborgenen Ebene.

Ich habe gehört, dass Deep Believe Network (DBN) auch für diese Art von Arbeit verwendet werden kann. Ich denke jedoch, dass DBN nur Abstraktionen (Cluster) von Features wie PCA bereitstellt. Obwohl es die Dimension effektiv reduzieren kann, frage ich mich, ob es möglich ist, die Wichtigkeit (Gewichtung) jedes Features zu berechnen.

Ist es möglich, die Funktionsbedeutung mit DBN zu berechnen? Und gibt es andere bekannte Methoden zur Merkmalsauswahl mithilfe von Deep Learning?

Ein Ansatz, den Sie für fast jedes Vorhersagemodell verwenden können, besteht darin, zuerst Ihr Modell zu trainieren und seine Genauigkeit zu ermitteln. Fügen Sie dann für eine Eingabe etwas Rauschen hinzu und überprüfen Sie die Genauigkeit erneut. Wiederholen Sie dies für jede Eingabe und beobachten Sie, wie das Rauschen die Vorhersagen verschlechtert. Wenn eine Eingabe wichtig ist, ist die zusätzliche Unsicherheit aufgrund des Rauschens nachteilig.

Denken Sie daran, die Varianz des Rauschens proportional zur Varianz des betreffenden Eingangs einzustellen.

Natürlich ist das Rauschen zufällig und Sie möchten nicht, dass eine Eingabe aufgrund zufälliger Effekte unwichtig erscheint. Wenn Sie nur wenige Trainingsbeispiele haben, sollten Sie die Änderung der Genauigkeit für jedes Trainingsbeispiel wiederholt berechnen, wobei jedes Mal ein neues Rauschen hinzugefügt wird.

Als Antwort auf die Kommentare:

Diese Analyse kann auch durchgeführt werden, indem eine Variable vollständig entfernt wird. Dies hat jedoch einige Nachteile im Vergleich zum Hinzufügen von Rauschen.

• Angenommen, eine Ihrer Eingaben ist konstant, sie verhält sich wie ein Bias-Term, spielt also eine Rolle bei der Vorhersage, fügt jedoch keine Informationen hinzu. Wenn Sie diese Eingabe vollständig entfernen, wird die Vorhersage weniger genau, da die Perzeptrone die falsche Vorspannung erhalten. Dadurch sieht die Eingabe so aus, als wäre sie für die Vorhersage wichtig, obwohl sie keine Informationen hinzufügt. Das Hinzufügen von Rauschen verursacht dieses Problem nicht. Dieser erste Punkt ist kein Problem, wenn Sie alle Eingaben auf den Mittelwert Null standardisiert haben.

• Wenn zwei Eingänge korreliert sind, geben die Informationen über einen Eingang Informationen über den anderen. Ein Modell könnte gut trainiert werden, wenn Sie nur eine der korrelierten Eingaben verwenden, sodass die Analyse ergeben soll, dass eine Eingabe nicht hilfreich ist. Wenn Sie nur eine der Eingaben entfernen, verringert sich die Vorhersagegenauigkeit wie beim ersten Punkt erheblich, was darauf hinweist, dass dies wichtig ist. Das Hinzufügen von Rauschen verursacht dieses Problem jedoch nicht.

Überprüfen Sie möglicherweise dieses Dokument: https://arxiv.org/pdf/1712.08645.pdf

Sie verwenden Dropout, um Features zu bewerten.

... In dieser Arbeit verwenden wir das Dropout-Konzept auf der Eingabe-Feature-Ebene und optimieren die entsprechende Feature-weise Dropout-Rate. Da jedes Merkmal stochastisch entfernt wird, erzeugt unsere Methode einen ähnlichen Effekt wie das Absacken von Merkmalen (Ho, 1995) und schafft es, korrelierte Merkmale besser einzustufen als andere Nicht-Absack-Methoden wie LASSO. Wir vergleichen unsere Methode mit Random Forest (RF), LASSO, ElasticNet, Marginal Ranking und verschiedenen Techniken, um die Bedeutung von DNN abzuleiten, wie z. B. Deep Feature Selection und verschiedene Heuristiken ...

Schauen Sie sich diesen Beitrag an: https://medium.com/@a.mirzaei69/how-to-use-deep-learning-for-feature-selection-python-keras-24a68bef1e33

und dieses Papier: https://arxiv.org/pdf/1903.07045.pdf

Sie bieten ein schönes Schema für die Anwendung tiefer Modelle für die Merkmalsauswahl.