Extraktion von Schlüsselwörtern / Ausdrücken aus Text mithilfe von Deep Learning-Bibliotheken

Vielleicht ist das zu weit gefasst, aber ich suche nach Hinweisen, wie man Deep Learning in einer Aufgabe zur Zusammenfassung von Texten einsetzt.

Ich habe bereits eine Textzusammenfassung mit Standard-Worthäufigkeitsansätzen und Satz-Ranking implementiert, möchte jedoch die Möglichkeit untersuchen, für diese Aufgabe Deep-Learning-Techniken zu verwenden. Ich habe auch einige Implementierungen auf wildml.com mit Convolutional Neural Networks (CNN) für die Stimmungsanalyse durchgeführt. Ich möchte wissen, wie man Bibliotheken wie TensorFlow oder Theano für die Zusammenfassung von Texten und die Extraktion von Schlüsselwörtern verwenden kann. Es ist ungefähr eine Woche her, seit ich angefangen habe, mit neuronalen Netzen zu experimentieren, und ich bin wirklich gespannt, wie die Leistung dieser Bibliotheken im Vergleich zu meinen vorherigen Ansätzen zu diesem Problem ist.

Ich bin besonders auf der Suche nach interessanten Artikeln und Github-Projekten, die sich mit der Zusammenfassung von Texten unter Verwendung dieser Frameworks befassen. Kann mir jemand Referenzen geben?

Der Google Research Blog sollte im Zusammenhang mit TensorFlow hilfreich sein .

In dem obigen Artikel befindet sich ein Verweis auf den mit Anmerkungen versehenen englischen Gigawort-Datensatz, der routinemäßig für die Textzusammenfassung verwendet wird.

Die Arbeit von Sutskever et al mit dem Titel Sequence to Sequence Learning with Neural Networks ( Sequenz zu Sequenz Lernen mit neuronalen Netzen) aus dem Jahr 2014 könnte ein sinnvoller Anfang Ihrer Reise sein, da sich herausstellt, dass bei kürzeren Texten die Zusammenfassung durchgängig mit einer Tiefenlerntechnik erlernt werden kann.

Schließlich ist hier ein großartiges Github-Repository, das die Zusammenfassung von Texten unter Verwendung von TensorFlow demonstriert.

Dies ist ein offenes Forschungsgebiet, und es hängt sicherlich davon ab, wie Sie das Problem darstellen. Wenn Sie von einer Zusammenfassung mehrerer Dokumente sprechen, ist das Problem etwas anders als bei einer Zusammenfassung einzelner Dokumente.

Es lohnt sich, die Literatur kurz durchzusehen.

Der von u / Society Of Data Scientists bereitgestellte Link ist großartig und nützlich für die Aufgabe der abstrakten Zusammenfassung in einem einzelnen Dokument. Es wird auch an extraktiven Zusammenfassungen gearbeitet, die wichtige zu extrahierende Sätze identifizieren.

Rush et. al hat einen schönen Aufsatz über die abstrakte Zusammenfassung mit Aufmerksamkeit , die auf tiefem Lernen basiert.

Für eine extraktive Zusammenfassung könnten Sie einen LSTM verwenden, um Ihren Klassifikator zu erstellen und Standard-TensorFlow / Torch-Bibliotheken zu verwenden, aber es scheint keine aktuellen Veröffentlichungen zu geben, die sich mit der Verwendung von Deep Learning für diesen Ansatz befassen.

Hier sind einige zusätzliche GitHub-Repos:

• The Original Rush et. al repo.
• Eine TensorFlow-Implementierung desselben Papiers

Klingt so, als wäre dies eine extraktive Zusammenfassung, wenn Sie nach Schlüsselwörtern suchen. Hier sind einige Papiere, die wahrscheinlich Implementierungen haben:

Neuronale Zusammenfassung durch Extrahieren von Sätzen und Wörtern

Extraktive Zusammenfassung mit Deep Learning

Teilüberwachte Faltungs-Neuronale Netze zur Textkategorisierung über Region Embedding

SpaCy (nicht angeschlossen) hat auch ein gutes Blog über die allgemeine Architektur von Textextraktionsaufgaben .