Wie finde ich Nicht-ASCII-Zeichen in MySQL?

Ich arbeite mit einer MySQL-Datenbank, in die einige Daten aus Excel importiert wurden . Die Daten enthalten Nicht- ASCII- Zeichen (Bindestriche usw.) sowie versteckte Zeilenumbrüche oder Zeilenvorschübe. Gibt es eine Möglichkeit, diese Datensätze mit MySQL zu finden?

Es hängt genau davon ab, was Sie als "ASCII" definieren, aber ich würde vorschlagen, eine Variante einer Abfrage wie diese zu versuchen:

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9]';

Diese Abfrage gibt alle Zeilen zurück, in denen columnToCheck nicht alphanumerische Zeichen enthält. Wenn Sie andere Zeichen haben, die akzeptabel sind, fügen Sie sie der Zeichenklasse im regulären Ausdruck hinzu. Wenn beispielsweise Punkte, Kommas und Bindestriche in Ordnung sind, ändern Sie die Abfrage in:

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9.,-]';

Die relevanteste Seite der MySQL-Dokumentation ist wahrscheinlich 12.5.2 Reguläre Ausdrücke .

MySQL bietet eine umfassende Zeichensatzverwaltung, die bei solchen Problemen helfen kann.

SELECT whatever
  FROM tableName 
 WHERE columnToCheck <> CONVERT(columnToCheck USING ASCII)

Das CONVERT(col USING charset) Funktion wandelt die nicht konvertierbaren Zeichen in Ersatzzeichen um. Dann sind der konvertierte und der nicht konvertierte Text ungleich.

Weitere Informationen finden Sie hier. https://dev.mysql.com/doc/refman/8.0/en/charset-repertoire.html

Sie können anstelle von ASCII einen beliebigen Zeichensatznamen verwenden. Wenn Sie beispielsweise herausfinden möchten, welche Zeichen in Codepage 1257 (Litauisch, Lettisch, Estnisch) nicht korrekt gerendert werden, verwenden SieCONVERT(columnToCheck USING cp1257)

Sie können ASCII als alle Zeichen mit einem Dezimalwert von 0 - 127 (0x00 - 0x7F) definieren und mithilfe der folgenden Abfrage Spalten mit Nicht-ASCII-Zeichen suchen

SELECT * FROM TABLE WHERE NOT HEX(COLUMN) REGEXP '^([0-7][0-9A-F])*$';

Dies war die umfassendste Abfrage, die ich erstellen konnte.

Dies ist wahrscheinlich das, wonach Sie suchen:

select * from TABLE where COLUMN regexp '[^ -~]';

Es sollte alle Zeilen zurückgeben, in denen COLUMN Nicht-ASCII-Zeichen (oder nicht druckbare ASCII-Zeichen wie Zeilenumbrüche) enthält.

Ein fehlendes Zeichen in allen obigen Beispielen ist das Abschlusszeichen (\ 0). Dies ist für die MySQL-Konsolenausgabe unsichtbar und kann von keiner der oben genannten Abfragen erkannt werden. Die Abfrage, um es zu finden, ist einfach:

select * from TABLE where COLUMN like '%\0%';

Basierend auf der richtigen Antwort, aber auch unter Berücksichtigung der ASCII-Steuerzeichen, hat sich für mich folgende Lösung bewährt:

SELECT * FROM `table` WHERE NOT `field` REGEXP  "[\\x00-\\xFF]|^$";

Es funktioniert genauso: Es wird in einer Spalte nach Verstößen gegen den ASCII-Bereich gesucht, aber Sie können auch nach Steuerzeichen suchen, da für Codepunkte die hexadezimale Notation verwendet wird. Da es keinen Vergleich oder keine Konvertierung gibt (im Gegensatz zu @ Ollie's Antwort), sollte dies auch deutlich schneller sein. (Vor allem, wenn MySQL die Regex-Abfrage vorzeitig beendet, was auf jeden Fall der Fall sein sollte.)

Außerdem wird vermieden, dass Felder mit der Länge Null zurückgegeben werden. Wenn Sie eine etwas längere Version wünschen, die möglicherweise eine bessere Leistung erzielt, können Sie stattdessen Folgendes verwenden:

SELECT * FROM `table` WHERE `field` <> "" AND NOT `field` REGEXP  "[\\x00-\\xFF]";

Es wird eine separate Längenprüfung durchgeführt, um Ergebnisse mit einer Länge von Null zu vermeiden, ohne sie für einen Regex-Durchlauf zu berücksichtigen. Abhängig von der Anzahl der Einträge mit der Länge Null kann dies erheblich schneller sein.

Beachten Sie, dass wenn Ihr Standardzeichensatz etwas Seltsames ist, bei dem 0x00-0xFF nicht denselben Werten wie ASCII zugeordnet ist (gibt es irgendwo einen solchen Zeichensatz?), Dies ein falsches Positiv zurückgeben würde. Ansonsten viel Spaß!

Versuchen Sie, diese Abfrage zum Durchsuchen von Sonderzeichendatensätzen zu verwenden

SELECT *
FROM tableName
WHERE fieldName REGEXP '[^a-zA-Z0-9@:. \'\-`,\&]'

Die Antwort von @ zende war die einzige, die Spalten mit einer Mischung aus ASCII- und Nicht-ASCII-Zeichen abdeckte, aber sie hatte auch diese problematische Hex-Sache. Ich habe das benutzt:

SELECT * FROM `table` WHERE NOT `column` REGEXP '^[ -~]+$' AND `column` !=''

In Oracle können wir unten verwenden.

SELECT * FROM TABLE_A WHERE ASCIISTR(COLUMN_A) <> COLUMN_A;

Für diese Frage können wir auch diese Methode verwenden:

Frage vom sql zoo: Hier
finden Sie alle Details zu dem von PETER GRÜNBERG gewonnenen Preis

Nicht-ASCII-Zeichen

ans: wähle * aus nobel wo Gewinner wie 'P% GR% _% berg';