Haben neuronale Netze Erklärbarkeit wie Entscheidungsbäume?

13

In Decision Trees können wir die Ausgabe der Baumstruktur verstehen und visualisieren, wie der Decision Tree Entscheidungen trifft. Entscheidungsbäume sind also erklärbar (ihre Ausgabe kann leicht erklärt werden.)

Haben wir Erklärbarkeit in neuronalen Netzen wie bei Entscheidungsbäumen?

neural-network

— navya
quelle

1

Ein neueres modellunabhängiges Framework ist das LIME-Modell .

— Emre

Im Bereich der Objekterkennung / -klassifizierung mit Hilfe neuronaler Netze werden Heatmaps gerne verwendet, um eine Entscheidung zu visualisieren / zu erklären, beispielsweise in heatmapping.org . Tutorials und interaktive Demonstrationen stehen zur Verfügung.

— Nikolas Rieble

9

Ich bin mit der vorherigen Antwort und Ihrem Vorschlag aus zwei Gründen nicht einverstanden:

1) Entscheidungsbäume basieren auf einfachen logischen Entscheidungen, die zusammen komplexere Entscheidungen treffen können. ABER wenn Ihre Eingabe 1000 Dimensionen hat und die erlernten Funktionen sehr unlinear sind, erhalten Sie einen wirklich großen und schweren Entscheidungsbaum, den Sie nicht lesen / verstehen können, wenn Sie nur die Knoten betrachten.

2) Neuronale Netze sind in dem Sinne ähnlich, dass die Funktion, die sie lernen, nur verständlich ist, wenn sie sehr klein sind. Wenn du groß wirst, brauchst du andere Tricks, um sie zu verstehen. Wie @SmallChess vorschlug, können Sie diesen Artikel mit dem Titel Visualisieren und Verstehen von Faltungsnetzwerken lesen. Er erklärt für den speziellen Fall von neuronalen Faltungsnetzwerken, wie Sie die Gewichte lesen können, um Dinge wie "es hat ein Auto in diesem Bild erkannt, hauptsächlich wegen der Räder, nicht der Rest der Komponenten ".

Diese Visualisierungen halfen vielen Forschern, Schwachstellen in ihren neuronalen Architekturen zu verstehen und die Trainingsalgorithmen zu verbessern.

— Robin
quelle

:-) Ich fand das Papier selbst schwieriger zu verstehen als das tiefe Faltungsnetzwerk selbst. Es ist eine sehr mathematische Arbeit.

— HelloWorld

1

Entschuldigung, ich habe den falschen Artikel zitiert :-) Ich habe ihn gerade geändert. Dieser Artikel ist grafischer. Die Idee, das Convnet umzukehren, ist nicht wirklich schwierig, wenn Sie wissen, wie Convnets funktionieren. Auf die gleiche Weise verwendet Google Deep Dream Back Propagation, um eine bestimmte Ausgabe in den Eingaberaum zu projizieren.

— Robin

Es gibt ein Video, in dem Matt Zeiler viele dieser Ideen erklärt, genannt Deconconvolution Networks

— Alex

7

Nein. Neuronales Netz ist im Allgemeinen schwer zu verstehen. Sie tauschen Vorhersagekraft gegen Modellkomplexität. Obwohl es möglich ist, die NN-Gewichte grafisch darzustellen, sagen sie Ihnen nicht genau, wie eine Entscheidung getroffen wird. Viel Glück beim Versuch, ein tiefes Netzwerk zu verstehen.

Es gibt ein populäres Python-Paket (und es hat ein Paper), das einen NN lokal mit einem einfacheren Modell modellieren kann. Vielleicht möchten Sie einen Blick darauf werfen.

https://github.com/marcotcr/lime

— Hallo Welt
quelle

1

Haha. Ich weiß, wie es sich anfühlt. Umarmungen : D

— Dawny33

0

https://arxiv.org/abs/1704.02685 bietet ein NN-spezifisches lokales Erklärungstool: Deep Lift. Es funktioniert, indem der Aktivierungsunterschied zwischen der zu erklärenden Instanz und einer Referenzinstanz propagiert wird. Eine Referenz zu finden ist etwas schwierig, aber das Tool scheint insgesamt interpretierbar und skalierbar zu sein. Wir verwenden es für tabellarische Daten.

— Lcrmorin
quelle