Wie überprüfe ich, ob eine Zeichenfolge in Python in ASCII enthalten ist?

Ich möchte überprüfen, ob eine Zeichenfolge in ASCII vorliegt oder nicht.

Ich bin mir ord()jedoch bewusst , wenn ich es versuche ord('é'), habe ich TypeError: ord() expected a character, but string of length 2 found. Ich habe verstanden, dass dies durch die Art und Weise verursacht wird, wie ich Python erstellt habe (wie in ord()der Dokumentation erläutert ).

Gibt es eine andere Möglichkeit zu überprüfen?

def is_ascii(s):
    return all(ord(c) < 128 for c in s)

Ich denke, Sie stellen nicht die richtige Frage ...

Eine Zeichenfolge in Python hat keine Eigenschaft, die 'ascii', utf-8 oder einer anderen Codierung entspricht. Die Quelle Ihrer Zeichenfolge (unabhängig davon, ob Sie sie aus einer Datei lesen, über eine Tastatur eingeben usw.) hat möglicherweise eine Unicode-Zeichenfolge in ASCII codiert, um Ihre Zeichenfolge zu erstellen. Hier müssen Sie jedoch eine Antwort finden.

Vielleicht können Sie die Frage stellen: "Ist diese Zeichenfolge das Ergebnis der Codierung einer Unicode-Zeichenfolge in ASCII?" - Dies können Sie beantworten, indem Sie versuchen:

try:
    mystring.decode('ascii')
except UnicodeDecodeError:
    print "it was not a ascii-encoded unicode string"
else:
    print "It may have been an ascii-encoded unicode string"

Python 3 Weg:

isascii = lambda s: len(s) == len(s.encode())

Übergeben Sie zur Überprüfung die Testzeichenfolge:

str1 = "♥O◘♦♥O◘♦"
str2 = "Python"

print(isascii(str1)) -> will return False
print(isascii(str2)) -> will return True

Neu in Python 3.7 ( bpo32677 )

Keine lästig / ineffizient ascii Kontrollen auf Strings, neuen Einbau in str/ bytes/ bytearrayMethode - .isascii()wird überprüfen , ob die Saiten sind ascii.

print("is this ascii?".isascii())
# True

Bin kürzlich auf so etwas gestoßen - zum späteren Nachschlagen

import chardet

encoding = chardet.detect(string)
if encoding['encoding'] == 'ascii':
    print 'string is in ascii'

die Sie verwenden könnten mit:

string_ascii = string.decode(encoding['encoding']).encode('ascii')

Vincent Marchetti hat die richtige Idee, wurde jedoch str.decodein Python 3 nicht mehr unterstützt. In Python 3 können Sie denselben Test durchführen mit str.encode:

try:
    mystring.encode('ascii')
except UnicodeEncodeError:
    pass  # string is not ascii
else:
    pass  # string is ascii

Beachten Sie, dass sich die Ausnahme, die Sie abfangen möchten, ebenfalls von UnicodeDecodeErrorauf geändert hat UnicodeEncodeError.

Ihre Frage ist falsch; Der Fehler, den Sie sehen, ist nicht das Ergebnis der Erstellung von Python, sondern eine Verwechslung zwischen Byte-Strings und Unicode-Strings.

Byte-Strings (z. B. "foo" oder "bar" in der Python-Syntax) sind Sequenzen von Oktetten. Zahlen von 0-255. Unicode-Zeichenfolgen (z. B. u "foo" oder u'bar ') sind Sequenzen von Unicode-Codepunkten. Zahlen von 0-1112064. Sie scheinen jedoch an dem Zeichen é interessiert zu sein, das (in Ihrem Terminal) eine Mehrbyte-Sequenz ist, die ein einzelnes Zeichen darstellt.

ord(u'é')Versuchen Sie stattdessen Folgendes:

>>> [ord(x) for x in u'é']

Das sagt Ihnen, welche Folge von Codepunkten "é" darstellt. Es kann Ihnen [233] geben, oder es kann Ihnen [101, 770] geben.

Anstatt chr()dies umzukehren, gibt es unichr():

>>> unichr(233)
u'\xe9'

Dieses Zeichen kann tatsächlich entweder ein einzelner oder mehrere Unicode- "Codepunkte" sein, die selbst entweder Grapheme oder Zeichen darstellen. Es ist entweder "e mit einem akuten Akzent (dh Codepunkt 233)" oder "e" (Codepunkt 101), gefolgt von "einem akuten Akzent auf dem vorherigen Zeichen" (Codepunkt 770). So kann genau dieses Zeichen als Python-Datenstruktur u'e\u0301'oder dargestellt werden u'\u00e9'.

Die meiste Zeit sollten Sie sich nicht darum kümmern müssen, aber es kann zu einem Problem werden, wenn Sie über eine Unicode-Zeichenfolge iterieren, da die Iteration nach Codepunkt und nicht nach zerlegbaren Zeichen funktioniert. Mit anderen Worten len(u'e\u0301') == 2und len(u'\u00e9') == 1. Wenn dies für Sie wichtig ist, können Sie mithilfe von zwischen zusammengesetzten und zerlegten Formularen konvertieren unicodedata.normalize.

Das Unicode-Glossar kann eine hilfreiche Anleitung zum Verständnis einiger dieser Probleme sein, indem aufgezeigt wird, wie sich die einzelnen Begriffe auf einen anderen Teil der Textdarstellung beziehen, was weitaus komplizierter ist, als viele Programmierer erkennen.

Wie wäre es damit?

import string

def isAscii(s):
    for c in s:
        if c not in string.ascii_letters:
            return False
    return True

Ich habe diese Frage gefunden, als ich versucht habe zu bestimmen, wie eine Zeichenfolge verwendet / codiert / decodiert wird, deren Codierung ich nicht sicher war (und wie Sonderzeichen in dieser Zeichenfolge maskiert / konvertiert werden).

Mein erster Schritt sollte darin bestehen, den Typ der Zeichenfolge zu überprüfen. Ich wusste dort nicht, dass ich von Typ (en) gute Daten über die Formatierung erhalten kann. Diese Antwort war sehr hilfreich und brachte meine Probleme auf den Punkt.

Wenn Sie unhöflich und hartnäckig werden

UnicodeDecodeError: Der Codec 'ascii' kann das Byte 0xc3 an Position 263 nicht dekodieren: Ordnungszahl nicht im Bereich (128)

Stellen Sie insbesondere beim ENCODIEREN sicher, dass Sie nicht versuchen, eine Zeichenfolge zu unicodeieren (), die bereits Unicode ist. Aus irgendeinem schrecklichen Grund treten ASCII-Codec-Fehler auf. (Siehe auch das Python Kitchen-Rezept und die Python-Dokumentations- Tutorials, um besser zu verstehen, wie schrecklich dies sein kann.)

Schließlich entschied ich, dass ich Folgendes tun wollte:

escaped_string = unicode(original_string.encode('ascii','xmlcharrefreplace'))

Ebenfalls hilfreich beim Debuggen war das Setzen der Standardcodierung in meiner Datei auf utf-8 (setzen Sie diese an den Anfang Ihrer Python-Datei):

# -*- coding: utf-8 -*-

Auf diese Weise können Sie Sonderzeichen ('àéç') testen, ohne ihre Unicode-Escapezeichen (u '\ xe0 \ xe9 \ xe7') verwenden zu müssen.

>>> specials='àéç'
>>> specials.decode('latin-1').encode('ascii','xmlcharrefreplace')
'àéç'

Um Alexanders Lösung aus Python 2.6 (und in Python 3.x) zu verbessern, können Sie das Hilfsmodul curses.ascii und die Funktion curses.ascii.isascii () oder verschiedene andere verwenden: https://docs.python.org/2.6/ library / curses.ascii.html

from curses import ascii

def isascii(s):
    return all(ascii.isascii(c) for c in s)

Sie können die Bibliothek für reguläre Ausdrücke verwenden, die die Posix-Standarddefinition [[: ASCII:]] akzeptiert.

Ein Stich ( str-Typ) in Python besteht aus einer Reihe von Bytes. Es gibt keinen Weg anhand der Zeichenfolge zu erkennen, ob diese Reihe von Bytes eine ASCII-Zeichenfolge, eine Zeichenfolge in einem 8-Bit-Zeichensatz wie ISO-8859-1 oder eine mit UTF-8 oder UTF-16 oder was auch immer codierte Zeichenfolge darstellt .

Wenn Sie jedoch die verwendete Codierung kennen, können Sie decodeden str in einen Unicode-String umwandeln und dann mit einem regulären Ausdruck (oder einer Schleife) prüfen, ob er Zeichen außerhalb des Bereichs enthält, um den Sie sich Sorgen machen.

Wie die Antwort von @ RogerDahl, aber es ist effizienter, einen Kurzschluss zu machen, indem die Zeichenklasse negiert und die Suche anstelle von find_alloder verwendet wird match.

>>> import re
>>> re.search('[^\x00-\x7F]', 'Did you catch that \x00?') is not None
False
>>> re.search('[^\x00-\x7F]', 'Did you catch that \xFF?') is not None
True

Ich stelle mir vor, dass ein regulärer Ausdruck dafür gut optimiert ist.

import re

def is_ascii(s):
    return bool(re.match(r'[\x00-\x7F]+$', s))

Um eine leere Zeichenfolge als ASCII einzuschließen, ändern Sie die +in *.

Um zu verhindern, dass Ihr Code abstürzt, möchten Sie möglicherweise ein try-exceptzum Abfangen verwendenTypeErrors

>>> ord("¶")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: ord() expected a character, but string of length 2 found

Beispielsweise

def is_ascii(s):
    try:
        return all(ord(c) < 128 for c in s)
    except TypeError:
        return False

Ich benutze das Folgende, um festzustellen, ob der String ASCII oder Unicode ist:

>> print 'test string'.__class__.__name__
str
>>> print u'test string'.__class__.__name__
unicode
>>> 

Verwenden Sie dann einfach einen bedingten Block, um die Funktion zu definieren:

def is_ascii(input):
    if input.__class__.__name__ == "str":
        return True
    return False