Wie entferne ich die Interpunktion mit dem NLTK-Tokenizer?

Ich fange gerade an, NLTK zu verwenden, und ich verstehe nicht ganz, wie man eine Liste von Wörtern aus Text erhält. Wenn ich benutze nltk.word_tokenize(), bekomme ich eine Liste mit Wörtern und Satzzeichen. Ich brauche stattdessen nur die Worte. Wie kann ich Interpunktion loswerden? Funktioniert auch word_tokenizenicht mit mehreren Sätzen: Punkte werden zum letzten Wort hinzugefügt.

Schauen Sie sich die anderen Tokenisierungsoptionen an, die nltk hier bietet . Sie können beispielsweise einen Tokenizer definieren, der Sequenzen alphanumerischer Zeichen als Token auswählt und alles andere löscht:

from nltk.tokenize import RegexpTokenizer

tokenizer = RegexpTokenizer(r'\w+')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Ausgabe:

['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward']

Sie benötigen NLTK nicht wirklich, um Interpunktion zu entfernen. Sie können es mit einfachem Python entfernen. Für Saiten:

import string
s = '... some string with punctuation ...'
s = s.translate(None, string.punctuation)

Oder für Unicode:

import string
translate_table = dict((ord(char), None) for char in string.punctuation)   
s.translate(translate_table)

und verwenden Sie diese Zeichenfolge dann in Ihrem Tokenizer.

Das PS- String-Modul verfügt über einige andere Sätze von Elementen, die entfernt werden können (z. B. Ziffern).

Der folgende Code entfernt alle Satzzeichen sowie nicht alphabetische Zeichen. Aus ihrem Buch kopiert.

http://www.nltk.org/book/ch01.html

import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time. @ sd  4 232"

words = nltk.word_tokenize(s)

words=[word.lower() for word in words if word.isalpha()]

print(words)

Ausgabe

['i', 'ca', 'do', 'this', 'now', 'because', 'i', 'so', 'tired', 'please', 'give', 'me', 'some', 'time', 'sd']

Wie in Kommentaren bemerkt, beginnen Sie mit sent_tokenize (), da word_tokenize () nur für einen einzelnen Satz funktioniert. Sie können Interpunktion mit filter () herausfiltern. Und wenn Sie Unicode-Zeichenfolgen haben, stellen Sie sicher, dass es sich um ein Unicode-Objekt handelt (kein 'str', das mit einer Codierung wie 'utf-8' codiert ist).

from nltk.tokenize import word_tokenize, sent_tokenize

text = '''It is a blue, small, and extraordinary ball. Like no other'''
tokens = [word for sent in sent_tokenize(text) for word in word_tokenize(sent)]
print filter(lambda word: word not in ',-', tokens)

Ich habe gerade den folgenden Code verwendet, mit dem alle Satzzeichen entfernt wurden:

tokens = nltk.wordpunct_tokenize(raw)

type(tokens)

text = nltk.Text(tokens)

type(text)  

words = [w.lower() for w in text if w.isalpha()]

Ich denke, Sie brauchen eine Art Matching für reguläre Ausdrücke (der folgende Code ist in Python 3):

import string
import re
import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time."
l = nltk.word_tokenize(s)
ll = [x for x in l if not re.fullmatch('[' + string.punctuation + ']+', x)]
print(l)
print(ll)

Ausgabe:

['I', 'ca', "n't", 'do', 'this', 'now', ',', 'because', 'I', "'m", 'so', 'tired', '.', 'Please', 'give', 'me', 'some', 'time', '.']
['I', 'ca', "n't", 'do', 'this', 'now', 'because', 'I', "'m", 'so', 'tired', 'Please', 'give', 'me', 'some', 'time']

Sollte in den meisten Fällen gut funktionieren, da Interpunktion entfernt wird, während Token wie "n't" erhalten bleiben, die von Regex-Tokenizern wie z wordpunct_tokenize.

Mit freundlichen Grüßen fragen, was ist ein Wort? Wenn Sie davon ausgehen, dass ein Wort nur aus alphabetischen Zeichen besteht, liegen Sie falsch, da Wörter wie z. B. can'tin Teile (z. B. canund t) zerstört werden, wenn Sie die Interpunktion vor der Tokenisierung entfernen , was sich sehr wahrscheinlich negativ auf Ihr Programm auswirkt.

Daher besteht die Lösung darin, Satzzeichen zu markieren und dann zu entfernen .

import string

from nltk.tokenize import word_tokenize

tokens = word_tokenize("I'm a southern salesman.")
# ['I', "'m", 'a', 'southern', 'salesman', '.']

tokens = list(filter(lambda token: token not in string.punctuation, tokens))
# ['I', "'m", 'a', 'southern', 'salesman']

... und wenn Sie möchten, können Sie bestimmte Token wie z. B. 'mdurch ersetzen am.

Ich benutze diesen Code, um Interpunktion zu entfernen:

import nltk
def getTerms(sentences):
    tokens = nltk.word_tokenize(sentences)
    words = [w.lower() for w in tokens if w.isalnum()]
    print tokens
    print words

getTerms("hh, hh3h. wo shi 2 4 A . fdffdf. A&&B ")

Und wenn Sie überprüfen möchten, ob ein Token ein gültiges englisches Wort ist oder nicht, benötigen Sie möglicherweise PyEnchant

Lernprogramm:

 import enchant
 d = enchant.Dict("en_US")
 d.check("Hello")
 d.check("Helo")
 d.suggest("Helo")

Interpunktion entfernen (Es wird entfernt. Sowie Teil der Interpunktionsbehandlung mit dem folgenden Code)

        tbl = dict.fromkeys(i for i in range(sys.maxunicode) if unicodedata.category(chr(i)).startswith('P'))
        text_string = text_string.translate(tbl) #text_string don't have punctuation
        w = word_tokenize(text_string)  #now tokenize the string 

Beispieleingabe / -ausgabe:

direct flat in oberoi esquire. 3 bhk 2195 saleable 1330 carpet. rate of 14500 final plus 1% floor rise. tax approx 9% only. flat cost with parking 3.89 cr plus taxes plus possession charger. middle floor. north door. arey and oberoi woods facing. 53% paymemt due. 1% transfer charge with buyer. total cost around 4.20 cr approx plus possession charges. rahul soni

['direct', 'flat', 'oberoi', 'esquire', '3', 'bhk', '2195', 'saleable', '1330', 'carpet', 'rate', '14500', 'final', 'plus', '1', 'floor', 'rise', 'tax', 'approx', '9', 'flat', 'cost', 'parking', '389', 'cr', 'plus', 'taxes', 'plus', 'possession', 'charger', 'middle', 'floor', 'north', 'door', 'arey', 'oberoi', 'woods', 'facing', '53', 'paymemt', 'due', '1', 'transfer', 'charge', 'buyer', 'total', 'cost', 'around', '420', 'cr', 'approx', 'plus', 'possession', 'charges', 'rahul', 'soni']

Wenn Sie nur @rmalouf zur Lösung hinzufügen, enthält dies keine Zahlen, da \ w + [a-zA-Z0-9_] entspricht.

from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'[a-zA-Z]')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Sie können dies in einer Zeile ohne nltk (Python 3.x) tun.

import string
string_text= string_text.translate(str.maketrans('','',string.punctuation))