Java oder Python für die Verarbeitung natürlicher Sprache [geschlossen]

Ich würde gerne wissen, welche Programmiersprache für die Verarbeitung natürlicher Sprache besser ist. Java oder Python ? Ich habe viele Fragen und Antworten dazu gefunden. Aber ich bin immer noch verloren in der Wahl, welche ich verwenden soll.

Und ich möchte wissen, welche NLP-Bibliothek für Java verwendet werden soll, da es viele Bibliotheken gibt (LingPipe, GATE, OpenNLP, StandfordNLP). Für Python empfehlen die meisten Programmierer NLTK.

Aber was ist die beste Option, wenn ich Textverarbeitung oder Informationsextraktion aus unstrukturierten Daten (nur frei geformter englischer Klartext) durchführen möchte , um nützliche Informationen zu erhalten? Java oder Python? Geeignete Bibliothek?

Aktualisiert

Was ich tun möchte, ist, nützliche Produktinformationen aus unstrukturierten Daten zu extrahieren (z. B. machen Benutzer verschiedene Formen der Werbung für Handys oder Laptops mit nicht sehr normaler englischer Sprache).

Java vs Python für NLP ist eine Präferenz oder Notwendigkeit. Abhängig von der Firma / den Projekten müssen Sie die eine oder die andere verwenden, und oft gibt es keine große Auswahl, es sei denn, Sie leiten ein Projekt.

Anders als NLTK(www.nltk.org), gibt es tatsächlich andere Bibliotheken für die Textverarbeitung in python:

• TextBlob : http://textblob.readthedocs.org/en/dev/
• Gensim : http://radimrehurek.com/gensim/
• Muster : http://www.clips.ua.ac.be/pattern
• Spacy :: http://spacy.io
• Orange : http://orange.biolab.si/features/
• Ananas : https://github.com/proycon/pynlpl

(Weitere Informationen finden Sie unter https://pypi.python.org/pypi?%3Aaction=search&term=natural+language+processing&submit=search )

Denn es Javagibt Tonnen von anderen, aber hier ist eine andere Liste:

• Freeling : http://nlp.lsi.upc.edu/freeling/
• OpenNLP : http://opennlp.apache.org/
• LingPipe : http://alias-i.com/lingpipe/
• Stanford CoreNLP : http://stanfordnlp.github.io/CoreNLP/ (wird mit Wrappern für andere Sprachen geliefert , einschließlich Python)
• CogComp NLP : https://github.com/CogComp/cogcomp-nlp

Dies ist ein guter Vergleich für die grundlegende Zeichenfolgenverarbeitung, siehe http://nltk.googlecode.com/svn/trunk/doc/howto/nlp-python.html

Ein nützlicher Vergleich von GATE vs UIMA vs OpenNLP finden Sie unter https://www.assembla.com/spaces/extraction-of-cost-data/wiki/Gate-vs-UIMA-vs-OpenNLP?version=4

Wenn Sie sich nicht sicher sind, welche Sprache für NLP verwendet werden soll, sage ich persönlich: "Jede Sprache, die Ihnen die gewünschte Analyse / Ausgabe liefert". Weitere Informationen finden Sie unter Welche Sprache oder Tools für die Verarbeitung natürlicher Sprache?

Hier ist ein ziemlich aktuelles (2017) NLP-Tool: https://github.com/alvations/awesome-community-curated-nlp

Eine ältere Liste von NLP-Tools (2013): http://web.archive.org/web/20130703190201/http://yauhenklimovich.wordpress.com/2013/05/20/tools-nlp

Abgesehen von Sprachverarbeitungswerkzeugen benötigen Sie dringend machine learningWerkzeuge, die Sie in NLPPipelines integrieren können.

Es gibt eine ganze Reihe in Pythonund Java, und wieder hängt es von den Vorlieben ab und ob die Bibliotheken benutzerfreundlich genug sind:

Bibliotheken für maschinelles Lernen in Python:

• Sklearn (Scikit-learn): http://scikit-learn.org/stable/
• Milch : http://luispedro.org/software/milk
• Scipy : http://www.scipy.org/
• Theano : http://deeplearning.net/software/theano/
• PyML : http://pyml.sourceforge.net/
• pyBrain : http://pybrain.org/
• Graphlab Create (kommerzielles Tool, aber kostenlose akademische Lizenz für 1 Jahr): https://dato.com/products/create/

(Weitere Informationen finden Sie unter https://pypi.python.org/pypi?%3Aaction=search&term=machine+learning&submit=search )

• Weka : http://www.cs.waikato.ac.nz/ml/weka/index.html
• Mallet : http://mallet.cs.umass.edu/
• Mahout : https://mahout.apache.org/

Mit dem jüngsten (2015) Deep-Learning-Tsunami in NLP könnten Sie möglicherweise Folgendes berücksichtigen: https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software

Ich werde es vermeiden, Deep-Learning-Tools aus Gründen der Nicht-Bevorzugung / Neutralität aufzulisten.

Andere Stackoverflow-Fragen, die auch nach NLP / ML-Tools fragten:

• Maschinelles Lernen und Verarbeitung natürlicher Sprachen
• Was sind gute Ausgangspunkte für jemanden, der sich für die Verarbeitung natürlicher Sprache interessiert?
• Verarbeitung natürlicher Sprache
• Verarbeitung natürlicher Sprache in Java (NLP)
• Gibt es eine gute Bibliothek zur Verarbeitung natürlicher Sprache?
• Einfacher Start der Verarbeitung natürlicher Sprache für Java
• Welche Bibliotheken bieten grundlegende oder erweiterte NLP-Methoden an?
• Neueste gute Sprachen und Bücher für die Verarbeitung natürlicher Sprache, die Grundlagen
• (Für NER) Entitätsextraktion / -erkennung mit kostenlosen Tools beim Füttern des Lucene-Index
• (Mit PHP) NLP-Programmiertools mit PHP?
• (Mit Ruby) /programming/3776361/ruby-nlp-libraries

Die Frage ist sehr offen. Anstatt eine auszuwählen, finden Sie unten einen Vergleich in Abhängigkeit von der Sprache, die Sie verwenden möchten (da in beiden Sprachen gute Bibliotheken verfügbar sind).

Python

In Bezug auf Python sollten Sie sich zunächst das Python Natural Language Toolkit ansehen . Wie sie in ihrer Beschreibung bemerken, ist NLTK eine führende Plattform zum Erstellen von Python-Programmen für die Arbeit mit Daten in menschlicher Sprache. Es bietet benutzerfreundliche Schnittstellen zu über 50 Korpora und lexikalischen Ressourcen wie WordNet sowie eine Reihe von Textverarbeitungsbibliotheken für Klassifizierung, Tokenisierung, Stemming, Tagging, Parsing und semantisches Denken.

Es gibt auch einen hervorragenden Code, den Sie nachschlagen können und der aus dem Python-basierten Google Natural Language Toolkit-Projekt stammt. Einen Link zu diesem Code finden Sie hier auf GitHub .

Java

Der erste Ort, an dem Sie nachsehen sollten, wäre Stanfords Natural Language Processing Group . Die gesamte dort verteilte Software ist in Java geschrieben. Für alle neueren Distributionen ist Oracle Java 6+ oder OpenJDK 7+ erforderlich. Verteilungspakete enthalten Komponenten für den Befehlszeilenaufruf, JAR-Dateien, eine Java-API und Quellcode.

Eine weitere großartige Option, die Sie in vielen maschinellen Lernumgebungen hier sehen (allgemeine Option), ist Weka . Weka ist eine Sammlung von Algorithmen für maschinelles Lernen für Data Mining-Aufgaben. Die Algorithmen können entweder direkt auf einen Datensatz angewendet oder aus Ihrem eigenen Java-Code aufgerufen werden. Weka enthält Tools zur Datenvorverarbeitung, Klassifizierung, Regression, Clusterbildung, Zuordnungsregeln und Visualisierung. Es eignet sich auch gut zur Entwicklung neuer maschineller Lernschemata.