Als «nlp» getaggte Fragen

Die Verarbeitung natürlicher Sprache (NLP) ist ein Bereich der Informatik, künstlichen Intelligenz und Linguistik, der sich mit den Interaktionen zwischen Computern und menschlichen (natürlichen) Sprachen befasst. Als solches ist NLP mit dem Bereich der Mensch-Computer-Interaktion verbunden. Viele Herausforderungen bei NLP betreffen das Verständnis natürlicher Sprachen, dh das Ermöglichen, dass Computer aus Eingaben von Menschen oder natürlichen Sprachen Bedeutung ableiten können, und andere betreffen die Erzeugung natürlicher Sprachen.

3
Effizientes Datenbankmodell zum Speichern von mit n-Gramm indizierten Daten
Ich arbeite an einer Anwendung, für die eine sehr große Datenbank mit n-Gramm erstellt werden muss, die in einem großen Textkorpus vorhanden ist. Ich benötige drei effiziente Operationstypen: Nachschlagen und Einfügen, indiziert durch das n-Gramm selbst, und Abfragen aller n-Gramme, die ein Sub-n-Gramm enthalten. Das klingt für mich so, als …
12 nlp  databases 
3
Hilfe zu NER in NLTK
Ich arbeite seit einiger Zeit in NLTK mit Python. Das Problem, mit dem ich konfrontiert bin, ist, dass beim Training von NER in NLTK mit meinen benutzerdefinierten Daten keine Hilfe verfügbar ist. Sie haben MaxEnt verwendet und es auf ACE-Korpus trainiert. Ich habe viel im Internet gesucht, aber ich konnte …
1
Wie viele LSTM-Zellen soll ich verwenden?
Gibt es Faustregeln (oder tatsächliche Regeln) für die minimale, maximale und "angemessene" Anzahl von LSTM-Zellen, die ich verwenden sollte? Insbesondere beziehe ich mich auf BasicLSTMCell von TensorFlow und num_unitsEigenschaft. Bitte nehmen Sie an, dass ich ein Klassifizierungsproblem habe, das definiert ist durch: t - number of time steps n - …
12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 
3
Abfrage von natürlicher Sprache zu SQL
Ich habe an der Entwicklung eines Systems "Konvertieren natürlicher Sprache in SQL-Abfrage" gearbeitet. Ich habe die Antworten aus ähnlichen Fragen gelesen, konnte jedoch nicht die gesuchten Informationen abrufen. Unten ist das Flussdiagramm für ein solches System, das ich von einem Algorithmus zur Umwandlung natürlicher Sprache in SQL-Abfragen für relationale Datenbanken …
4
Gibt es gute Out-of-the-Box-Sprachmodelle für Python?
Ich erstelle Prototypen für eine Anwendung und benötige ein Sprachmodell, um die Ratlosigkeit einiger generierter Sätze zu berechnen. Gibt es ein geschultes Sprachmodell in Python, das ich problemlos verwenden kann? So etwas Einfaches wie model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert …
11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 
4
Informationen aus dem Satz extrahieren
Ich erstelle einen einfachen Chatbot. Ich möchte die Informationen aus der Benutzerantwort erhalten. Ein Beispielszenario: Bot : Hi, what is your name? User: My name is Edwin. Ich möchte den Namen Edwin aus dem Satz extrahieren. Der Benutzer kann jedoch auf verschiedene Arten reagieren, z User: Edwin is my name. …
11 python  nlp 
2
Wie funktionieren "Intent Recognnisers"?
Amazon Alexa , Nuance's Mix und Facebook Wit.ai alle ein ähnliches System, um festzulegen, wie ein in eine Absicht umgewandelt werden soll - dh etwas, das ein Computer verstehen würde. Ich bin mir nicht sicher, wie der "offizielle" Name dafür lautet, aber ich nenne ihn "Absichtserkennung". Grundsätzlich ein Weg von …
4
Wie word2vec verwendet werden kann, um unsichtbare Wörter zu identifizieren und sie mit bereits trainierten Daten in Beziehung zu setzen
Ich habe an einem word2vec Gensim-Modell gearbeitet und fand es wirklich interessant. Ich bin daran interessiert herauszufinden, wie ein unbekanntes / unsichtbares Wort, wenn es mit dem Modell überprüft wird, ähnliche Begriffe aus dem trainierten Modell erhalten kann. Ist das möglich? Kann word2vec dafür optimiert werden? Oder der Trainingskorpus muss …
1
Anwenden von word2vec auf kleine Textdateien
Ich bin völlig neu in word2vec, also tragen Sie es bitte mit mir. Ich habe eine Reihe von Textdateien, die jeweils eine Reihe von Tweets zwischen 1000 und 3000 enthalten. Ich habe ein allgemeines Schlüsselwort ("kw1") ausgewählt und möchte mit word2vec semantisch relevante Begriffe für "kw1" finden. Wenn das Schlüsselwort …
2
Was ist der Unterschied zwischen einem Hashing-Vektorisierer und einem tfidf-Vektorisierer?
Ich konvertiere für jedes Dokument einen Korpus von Textdokumenten in Wortvektoren. Ich habe dies mit einem TfidfVectorizer und einem HashingVectorizer versucht Ich verstehe, dass a HashingVectorizerdie IDFPunktzahlen nicht wie a TfidfVectorizerberücksichtigt. Der Grund, warum ich immer noch mit a arbeite, HashingVectorizerist die Flexibilität, die es beim Umgang mit riesigen Datensätzen …
3
Unüberwachtes Lernen von Funktionen für NER
Ich habe das NER-System unter Verwendung des CRF-Algorithmus mit meinen handgefertigten Funktionen implementiert, die ziemlich gute Ergebnisse lieferten. Die Sache ist, dass ich viele verschiedene Funktionen verwendet habe, einschließlich POS-Tags und Lemmas. Jetzt möchte ich das gleiche NER für verschiedene Sprachen erstellen. Das Problem hier ist, dass ich keine POS-Tags …
3
Wie verarbeite ich Anfragen in natürlicher Sprache?
Ich bin neugierig auf Fragen in natürlicher Sprache. Stanford verfügt über eine anscheinend starke Software zur Verarbeitung natürlicher Sprache . Ich habe auch die Apache OpenNLP-Bibliothek und die Allgemeine Architektur für Text Engineering gesehen . Es gibt unglaublich viele Verwendungsmöglichkeiten für die Verarbeitung natürlicher Sprache, und das macht es schwierig, …
11 nlp 
2
Word2Vec-Einbettungen mit TF-IDF
Wenn Sie das word2vec-Modell trainieren (z. B. mit gensim), geben Sie eine Liste mit Wörtern / Sätzen an. Es scheint jedoch keine Möglichkeit zu geben, Gewichte für die Wörter anzugeben, die beispielsweise mit TF-IDF berechnet wurden. Ist es üblich, die Wortvektor-Einbettungen mit dem zugehörigen TF-IDF-Gewicht zu multiplizieren? Oder kann word2vec …
3
Beste Sprachen für wissenschaftliches Rechnen [geschlossen]
Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 5 Jahren . Es scheint, als ob in den meisten Sprachen …
10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.