Was ist der beste Weg, um Akzente in einer Python-Unicode-Zeichenfolge zu entfernen?

Ich habe eine Unicode-Zeichenfolge in Python und möchte alle Akzente (diakritische Zeichen) entfernen.

Ich habe im Web eine elegante Möglichkeit gefunden, dies in Java zu tun:

1. Konvertieren Sie die Unicode-Zeichenfolge in ihre lange normalisierte Form (mit einem separaten Zeichen für Buchstaben und Diakritika).
2. Entfernen Sie alle Zeichen, deren Unicode-Typ "diakritisch" ist.

Muss ich eine Bibliothek wie pyICU installieren oder ist dies nur mit der Python-Standardbibliothek möglich? Und was ist mit Python 3?

Wichtiger Hinweis: Ich möchte Code mit einer expliziten Zuordnung von Zeichen mit Akzent zu ihrem Gegenstück ohne Akzent vermeiden.

Unidecode ist die richtige Antwort darauf. Es transkribiert jede Unicode-Zeichenfolge in die nächstmögliche Darstellung im ASCII-Text.

Beispiel:

accented_string = u'Málaga'
# accented_string is of type 'unicode'
import unidecode
unaccented_string = unidecode.unidecode(accented_string)
# unaccented_string contains 'Malaga'and is of type 'str'

Wie wäre es damit:

import unicodedata
def strip_accents(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn')

Dies funktioniert auch bei griechischen Buchstaben:

>>> strip_accents(u"A \u00c0 \u0394 \u038E")
u'A A \u0394 \u03a5'
>>> 

Die Zeichenkategorie "Mn" steht für Nonspacing_Mark, ähnlich wie unicodedata.combining in der Antwort von MiniQuark (ich habe nicht an unicodedata.combining gedacht, aber es ist wahrscheinlich die bessere Lösung, weil es expliziter ist).

Beachten Sie jedoch, dass diese Manipulationen die Bedeutung des Textes erheblich verändern können. Akzente, Umlaute usw. sind keine "Dekoration".

Ich habe gerade diese Antwort im Web gefunden:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    only_ascii = nfkd_form.encode('ASCII', 'ignore')
    return only_ascii

Es funktioniert gut (zum Beispiel für Französisch), aber ich denke, der zweite Schritt (Entfernen der Akzente) könnte besser gehandhabt werden als das Löschen der Nicht-ASCII-Zeichen, da dies für einige Sprachen (z. B. Griechisch) fehlschlägt. Die beste Lösung wäre wahrscheinlich, die Unicode-Zeichen, die als diakritisch gekennzeichnet sind, explizit zu entfernen.

Bearbeiten : das macht den Trick:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)])

unicodedata.combining(c)wird true zurückgeben, wenn das Zeichen cmit dem vorhergehenden Zeichen kombiniert werden kann, dh hauptsächlich, wenn es diakritisch ist.

Bearbeiten 2 : remove_accentsErwartet eine Unicode- Zeichenfolge, keine Byte-Zeichenfolge. Wenn Sie eine Byte-Zeichenfolge haben, müssen Sie diese in eine Unicode-Zeichenfolge wie folgt dekodieren:

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use
byte_string = b"café"  # or simply "café" before python 3.
unicode_string = byte_string.decode(encoding)

Eigentlich arbeite ich an projektkompatiblem Python 2.6, 2.7 und 3.4 und muss IDs aus freien Benutzereinträgen erstellen.

Dank dir habe ich diese Funktion geschaffen, die Wunder wirkt.

import re
import unicodedata

def strip_accents(text):
    """
    Strip accents from input String.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    try:
        text = unicode(text, 'utf-8')
    except (TypeError, NameError): # unicode is a default on python 3 
        pass
    text = unicodedata.normalize('NFD', text)
    text = text.encode('ascii', 'ignore')
    text = text.decode("utf-8")
    return str(text)

def text_to_id(text):
    """
    Convert input text to id.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    text = strip_accents(text.lower())
    text = re.sub('[ ]+', '_', text)
    text = re.sub('[^0-9a-zA-Z_-]', '', text)
    return text

Ergebnis:

text_to_id("Montréal, über, 12.89, Mère, Françoise, noël, 889")
>>> 'montreal_uber_1289_mere_francoise_noel_889'

Dies behandelt nicht nur Akzente, sondern auch "Striche" (wie in ø usw.):

import unicodedata as ud

def rmdiacritics(char):
    '''
    Return the base character of char, by "removing" any
    diacritics like accents or curls and strokes and the like.
    '''
    desc = ud.name(char)
    cutoff = desc.find(' WITH ')
    if cutoff != -1:
        desc = desc[:cutoff]
        try:
            char = ud.lookup(desc)
        except KeyError:
            pass  # removing "WITH ..." produced an invalid name
    return char

Dies ist die eleganteste Art, die ich mir vorstellen kann (und sie wurde von alexis in einem Kommentar auf dieser Seite erwähnt), obwohl ich sie in der Tat nicht für sehr elegant halte. Tatsächlich ist es eher ein Hack, wie in Kommentaren erwähnt, da Unicode-Namen - eigentlich nur Namen - keine Garantie dafür geben, dass sie konsistent sind oder so.

Es gibt immer noch spezielle Buchstaben, die hiervon nicht behandelt werden, z. B. umgedrehte und invertierte Buchstaben, da ihr Unicode-Name kein 'WITH' enthält. Es hängt davon ab, was Sie sowieso tun möchten. Ich brauchte manchmal Akzententfernung, um die Sortierreihenfolge des Wörterbuchs zu erreichen.

NOTIZ BEARBEITEN:

Enthaltene Vorschläge aus den Kommentaren (Behandlung von Suchfehlern, Python-3-Code).

Als Antwort auf die Antwort von @ MiniQuark:

Ich habe versucht, eine halbfranzösische CSV-Datei (mit Akzenten) und einige Zeichenfolgen einzulesen, die schließlich zu Ganzzahlen und Gleitkommazahlen werden. Als Test habe ich eine test.txtDatei erstellt, die folgendermaßen aussieht:

Montréal, über, 12,89, Mère, Françoise, noël, 889

Ich musste Zeilen einfügen 2und 3es zum Laufen bringen (was ich in einem Python-Ticket gefunden habe) sowie @ Jabbas Kommentar einfügen:

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8")
import csv
import unicodedata

def remove_accents(input_str):
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str))
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)])

with open('test.txt') as f:
    read = csv.reader(f)
    for row in read:
        for element in row:
            print remove_accents(element)

Das Ergebnis:

Montreal
uber
12.89
Mere
Francoise
noel
889

(Hinweis: Ich arbeite unter Mac OS X 10.8.4 und verwende Python 2.7.3.)

gensim.utils.deaccent (Text) von Gensim - Themenmodellierung für Menschen :

'Sef chomutovskych komunistu dostal postou bily prasek'

Eine andere Lösung ist Unidecode .

Beachten Sie, dass die vorgeschlagene Lösung mit Unicodedata normalerweise nur in bestimmten Zeichen Akzente entfernt (z. B. 'ł'in ''und nicht in 'l').

In einigen Sprachen werden Diakritika als Sprachbuchstaben und Akzentdiakritika kombiniert, um den Akzent festzulegen.

Ich denke, es ist sicherer, explizit anzugeben, welche Diakrika Sie entfernen möchten:

def strip_accents(string, accents=('COMBINING ACUTE ACCENT', 'COMBINING GRAVE ACCENT', 'COMBINING TILDE')):
    accents = set(map(unicodedata.lookup, accents))
    chars = [c for c in unicodedata.normalize('NFD', string) if c not in accents]
    return unicodedata.normalize('NFC', ''.join(chars))