Wie viele Bytes benötigt ein Unicode-Zeichen?

Ich bin ein bisschen verwirrt über Codierungen. Soweit ich weiß, haben alte ASCII-Zeichen ein Byte pro Zeichen benötigt. Wie viele Bytes benötigt ein Unicode-Zeichen?

Ich gehe davon aus, dass ein Unicode-Zeichen jedes mögliche Zeichen aus einer beliebigen Sprache enthalten kann - bin ich richtig? Wie viele Bytes benötigt es pro Zeichen?

Und was bedeuten UTF-7, UTF-6, UTF-16 usw.? Sind sie verschiedene Versionen von Unicode?

Ich habe den Wikipedia-Artikel über Unicode gelesen, aber es ist ziemlich schwierig für mich. Ich freue mich auf eine einfache Antwort.

Sie werden keine einfache Antwort sehen, weil es keine gibt.

Erstens enthält Unicode nicht "jedes Zeichen aus jeder Sprache", obwohl es dies sicher versucht.

Unicode selbst ist eine Zuordnung, es definiert Codepunkte und ein Codepunkt ist eine Zahl, die normalerweise einem Zeichen zugeordnet ist. Ich sage normalerweise, weil es Konzepte wie das Kombinieren von Zeichen gibt. Sie kennen möglicherweise Dinge wie Akzente oder Umlaute. Diese können mit einem anderen Zeichen verwendet werden, z. B. einem aoder einem u, um ein neues logisches Zeichen zu erstellen. Ein Zeichen kann daher aus einem oder mehreren Codepunkten bestehen.

Um in Computersystemen nützlich zu sein, müssen wir eine Darstellung für diese Informationen auswählen. Dies sind die verschiedenen Unicode-Codierungen wie utf-8, utf-16le, utf-32 usw. Sie unterscheiden sich weitgehend durch die Größe ihrer Codeeinheiten. UTF-32 ist die einfachste Codierung. Es hat eine Codeeinheit mit 32 Bit, was bedeutet, dass ein einzelner Codepunkt bequem in eine Codeeinheit passt. Bei den anderen Codierungen treten Situationen auf, in denen ein Codepunkt mehrere Codeeinheiten benötigt oder dieser bestimmte Codepunkt in der Codierung überhaupt nicht dargestellt werden kann (dies ist beispielsweise bei UCS-2 ein Problem).

Aufgrund der Flexibilität beim Kombinieren von Zeichen kann die Anzahl der Bytes pro Zeichen selbst innerhalb einer bestimmten Codierung je nach Zeichen und Normalisierungsform variieren. Dies ist ein Protokoll für den Umgang mit Zeichen, die mehr als eine Darstellung haben (Sie können sagen, "an 'a' with an accent"dass es sich um 2 Codepunkte handelt, von denen einer ein Kombinationszeichen oder "accented 'a'"ein Codepunkt ist).

Seltsamerweise hat niemand darauf hingewiesen, wie zu berechnen ist, wie viele Bytes ein Unicode-Zeichen benötigt. Hier ist die Regel für UTF-8-codierte Zeichenfolgen:

Binary    Hex          Comments
0xxxxxxx  0x00..0x7F   Only byte of a 1-byte character encoding
10xxxxxx  0x80..0xBF   Continuation byte: one of 1-3 bytes following the first
110xxxxx  0xC0..0xDF   First byte of a 2-byte character encoding
1110xxxx  0xE0..0xEF   First byte of a 3-byte character encoding
11110xxx  0xF0..0xF7   First byte of a 4-byte character encoding

Die schnelle Antwort lautet also: Es dauert 1 bis 4 Bytes, abhängig vom ersten, das angibt, wie viele Bytes es aufnehmen wird.

Ich weiß, dass diese Frage alt ist und bereits eine akzeptierte Antwort hat, aber ich möchte einige Beispiele anbieten (in der Hoffnung, dass sie für jemanden nützlich sein wird).

Soweit ich weiß, haben alte ASCII-Zeichen ein Byte pro Zeichen benötigt.

Richtig. Da es sich bei ASCII um eine 7-Bit-Codierung handelt, werden 128 Codes unterstützt (von denen 95 druckbar sind), sodass nur ein halbes Byte verwendet wird (sofern dies sinnvoll ist).

Wie viele Bytes benötigt ein Unicode-Zeichen?

Unicode ordnet nur Zeichen Codepunkten zu. Es definiert nicht, wie sie codiert werden sollen. Eine Textdatei enthält keine Unicode-Zeichen, sondern Bytes / Oktette, die Unicode-Zeichen darstellen können.

Ich gehe davon aus, dass ein Unicode-Zeichen jedes mögliche Zeichen aus einer beliebigen Sprache enthalten kann - bin ich richtig?

Nein, aber fast. Also im Grunde ja. Aber immer noch nein.

Wie viele Bytes benötigt es pro Zeichen?

Gleich wie deine 2. Frage.

Und was bedeuten UTF-7, UTF-6, UTF-16 usw.? Sind sie eine Art Unicode-Versionen?

Nein, das sind Kodierungen. Sie definieren, wie Bytes / Oktette Unicode-Zeichen darstellen sollen.

Ein paar Beispiele. Wenn einige davon nicht in Ihrem Browser angezeigt werden können (wahrscheinlich, weil die Schriftart sie nicht unterstützt), gehen Sie zu http://codepoints.net/U+1F6AA(durch 1F6AAden Codepunkt in Hex ersetzen ), um ein Bild anzuzeigen .

1. • U + 0061 LATEINISCHER KLEINBUCHSTABE A: a
     • Nr.: 97
     • UTF-8: 61
     • UTF-16: 00 61
2. • U + 00A9 COPYRIGHT-ZEICHEN: ©
     • Nr.: 169
     • UTF-8: C2 A9
     • UTF-16: 00 A9
   • U + 00AE REGISTRIERTES ZEICHEN: ®
     • Nr.: 174
     • UTF-8: C2 AE
     • UTF-16: 00 AE
3. • U + 1337 ÄTHIOPISCH SYLLABLE PHWA: ጷ
     • Nr.: 4919
     • UTF-8: E1 8C B7
     • UTF-16: 13 37
   • U + 2014 EM DASH: —
     • Nr.: 8212
     • UTF-8: E2 80 94
     • UTF-16: 20 14
   • U + 2030 PRO MILLE-ZEICHEN: ‰
     • Nr.: 8240
     • UTF-8: E2 80 B0
     • UTF-16: 20-30
   • U + 20AC EURO ZEICHEN: €
     • Nr.: 8364
     • UTF-8: E2 82 AC
     • UTF-16: 20 AC
   • U + 2122 MARKENZEICHEN: ™
     • Nr.: 8482
     • UTF-8: E2 84 A2
     • UTF-16: 21 22
   • U + 2603 SNOWMAN: ☃
     • Nr.: 9731
     • UTF-8: E2 98 83
     • UTF-16: 26 03
   • U + 260E SCHWARZES TELEFON: ☎
     • Nr.: 9742
     • UTF-8: E2 98 8E
     • UTF-16: 26 0E
   • U + 2614 REGENSCHIRM MIT REGENTROPFEN: ☔
     • Nr.: 9748
     • UTF-8: E2 98 94
     • UTF-16: 26 14
   • U + 263A WEISSES LÄCHELN: ☺
     • Nr.: 9786
     • UTF-8: E2 98 BA
     • UTF-16: 26 3A
   • U + 2691 SCHWARZE FLAGGE: ⚑
     • Nr.: 9873
     • UTF-8: E2 9A 91
     • UTF-16: 26 91
   • U + 269B ATOM SYMBOL: ⚛
     • Nr.: 9883
     • UTF-8: E2 9A 9B
     • UTF-16: 26 9B
   • U + 2708 FLUGZEUG: ✈
     • Nr.: 9992
     • UTF-8: E2 9C 88
     • UTF-16: 27 08
   • U + 271E SHADOWED WHITE LATIN CROSS: ✞
     • Nr.: 10014
     • UTF-8: E2 9C 9E
     • UTF-16: 27 1E
   • U + 3020 POSTMARKENGESICHT: 〠
     • Nr.: 12320
     • UTF-8: E3 80 A0
     • UTF-16: 30 20
   • U + 8089 CJK UNIFIED IDEOGRAPH-8089: 肉
     • Nr.: 32905
     • UTF-8: E8 82 89
     • UTF-16: 80 89
4. • U + 1F4A9 POO-STAPEL: 💩
     • Nr.: 128169
     • UTF-8: F0 9F 92 A9
     • UTF-16: D8 3D DC A9
   • U + 1F680 RAKETE: 🚀
     • Nr.: 128640
     • UTF-8: F0 9F 9A 80
     • UTF-16: D8 3D DE 80

Okay, ich werde mitgerissen ...

Wissenswertes:

• Wenn Sie nach einem bestimmten Zeichen suchen, können Sie es auf http://codepoints.net/ kopieren und einfügen .
• Ich habe viel Zeit mit dieser nutzlosen Liste verschwendet (aber sie ist sortiert!).
• MySQL hat einen Zeichensatz namens "utf8", der keine Zeichen unterstützt, die länger als 3 Bytes sind. So Sie nicht einen Haufen von poo einfügen können , wird das Feld still abgeschnitten. Verwenden Sie stattdessen "utf8mb4".
• Es gibt eine Schneemann-Testseite (unicodesnowmanforyou.com) .

Einfach gesagt Unicodeist ein Standard, der allen Zeichen der Welt eine Nummer (Codepunkt genannt) zuweist (es ist noch in Arbeit).

Jetzt müssen Sie diese Codepunkte mit Bytes darstellen, die aufgerufen werden character encoding. UTF-8, UTF-16, UTF-6sind Möglichkeiten, diese Zeichen darzustellen.

UTF-8ist eine Multibyte-Zeichencodierung. Zeichen können 1 bis 6 Bytes haben (einige von ihnen sind derzeit möglicherweise nicht erforderlich).

UTF-32 Jedes Zeichen hat 4 Bytes pro Zeichen.

UTF-16verwendet 16 Bit für jedes Zeichen und stellt nur einen Teil der Unicode-Zeichen dar, die als BMP bezeichnet werden (für alle praktischen Zwecke ist dies ausreichend). Java verwendet diese Codierung in seinen Zeichenfolgen.

In UTF-8:

1 byte:       0 -     7F     (ASCII)
2 bytes:     80 -    7FF     (all European plus some Middle Eastern)
3 bytes:    800 -   FFFF     (multilingual plane incl. the top 1792 and private-use)
4 bytes:  10000 - 10FFFF

In UTF-16:

2 bytes:      0 -   D7FF     (multilingual plane except the top 1792 and private-use )
4 bytes:   D800 - 10FFFF

In UTF-32:

4 bytes:      0 - 10FFFF

10FFFF ist per Definition der letzte Unicode-Codepunkt und wird auf diese Weise definiert, da es sich um das technische Limit von UTF-16 handelt.

Es ist auch der größte Codepunkt, den UTF-8 in 4 Byte codieren kann, aber die Idee hinter der Codierung von UTF-8 funktioniert auch für 5- und 6-Byte-Codierungen, um Codepunkte bis 7FFFFFFF abzudecken, d. H. die Hälfte von dem, was UTF-32 kann.

In Unicode ist die Antwort nicht einfach zu geben. Das Problem sind, wie Sie bereits betont haben, die Codierungen.

Bei jedem englischen Satz ohne diakritische Zeichen wäre die Antwort für UTF-8 so viele Bytes wie Zeichen und für UTF-16 wäre es die Anzahl der Zeichen mal zwei.

Die einzige Codierung, bei der wir (ab sofort) die Aussage über die Größe treffen können, ist UTF-32. Dort sind es immer 32 Bit pro Zeichen, obwohl ich mir vorstelle, dass Codepunkte für eine zukünftige UTF-64 vorbereitet sind :)

Was es so schwierig macht, sind mindestens zwei Dinge:

1. zusammengesetzte Zeichen, bei denen ein Benutzer anstelle der bereits akzentuierten / diakritischen Zeichenentität (À) den Akzent und das Basiszeichen (`A) kombiniert.
2. Codepunkte. Codepunkte sind die Methode, mit der die UTF-Codierungen mehr als die Anzahl der Bits codieren können, die ihnen normalerweise ihren Namen geben würden. Beispielsweise bezeichnet UTF-8 bestimmte Bytes, die für sich genommen ungültig sind. Wenn jedoch ein gültiges Fortsetzungsbyte folgt, kann ein Zeichen außerhalb des 8-Bit-Bereichs von 0..255 beschrieben werden. Siehe die Beispiele und überlangen Codierungen unten im Wikipedia-Artikel zu UTF-8.
   • Das dort angeführte hervorragende Beispiel ist, dass das € -Zeichen (Codepunkt U+20ACkann entweder als Drei-Byte- Sequenz E2 82 ACoder als Vier-Byte- Sequenz dargestellt werden F0 82 82 AC.
   • Beide sind gültig, und dies zeigt, wie kompliziert die Antwort ist, wenn von "Unicode" und nicht von einer bestimmten Codierung von Unicode wie UTF-8 oder UTF-16 gesprochen wird.

In UTF-8 gibt es ein großartiges Tool zum Berechnen der Bytes einer Zeichenfolge: http://mothereff.in/byte-counter

Update: @mathias hat den Code veröffentlicht: https://github.com/mathiasbynens/mothereff.in/blob/master/byte-counter/eff.js

Nun, ich habe gerade auch die Wikipedia-Seite darauf aufgerufen und im Intro-Teil gesehen, dass "Unicode durch verschiedene Zeichencodierungen implementiert werden kann. Die am häufigsten verwendeten Codierungen sind UTF-8 (das ein Byte für alle ASCII-Zeichen verwendet, die diese haben) die gleichen Codewerte sowohl in der UTF-8- als auch in der ASCII-Codierung und bis zu vier Bytes für andere Zeichen), das mittlerweile veraltete UCS-2 (das zwei Bytes für jedes Zeichen verwendet, aber nicht jedes Zeichen im aktuellen Unicode-Standard codieren kann) "

Wie dieses Zitat zeigt, besteht Ihr Problem darin, dass Sie davon ausgehen, dass Unicode eine einzige Methode zum Codieren von Zeichen ist. Es gibt tatsächlich mehrere Formen von Unicode, und auch in diesem Zitat hat eine von ihnen sogar 1 Byte pro Zeichen, genau wie Sie es gewohnt sind.

Ihre einfache Antwort, die Sie wollen, ist also, dass sie variiert.

Für UTF-16 benötigt das Zeichen vier Bytes (zwei Codeeinheiten), wenn es mit 0xD800 oder höher beginnt. Ein solches Zeichen wird als "Ersatzpaar" bezeichnet. Insbesondere hat ein Ersatzpaar die Form:

[0xD800 - 0xDBFF]  [0xDC00 - 0xDFF]

Dabei gibt [...] eine Zwei-Byte-Codeeinheit mit dem angegebenen Bereich an. Alles <= 0xD7FF ist eine Codeeinheit (zwei Bytes). Alles> = 0xE000 ist ungültig (außer wohl Stücklistenmarkierungen).

Siehe http://unicodebook.readthedocs.io/unicode_encodings.html , Abschnitt 7.5.

Schauen Sie sich diesen Unicode-Code-Konverter an . Geben Sie beispielsweise in das Feld "0x ... Notation" ein 0x2009, wobei 2009 die Unicode-Nummer für Thin Space ist, und klicken Sie auf "Konvertieren". Die Hexadezimalzahl E2 80 89(3 Byte) wird im Feld "UTF-8-Codeeinheiten" angezeigt.

Aus dem Wiki:

UTF-8, eine 8-Bit-Codierung mit variabler Breite, die die Kompatibilität mit ASCII maximiert;

UTF-16, eine 16-Bit-Codierung mit variabler Breite;

UTF-32, eine 32-Bit-Codierung mit fester Breite.

Dies sind die drei beliebtesten unterschiedlichen Codierungen.

• In UTF-8 wird jedes Zeichen in 1 bis 4 Bytes codiert (die dominante Codierung).
• In UTF16 wird jedes Zeichen in 1 bis 2 16-Bit-Wörter und codiert
• In UTF-32 wird jedes Zeichen als einzelnes 32-Bit-Wort codiert.

Unicodeist ein Standard, der für jedes Zeichen eine eindeutige Nummer bereitstellt. Diese eindeutigen Zahlen werden code points (was nur ein eindeutiger Code ist) für alle auf der Welt vorhandenen Zeichen genannt (einige müssen noch hinzugefügt werden).

Für verschiedene Zwecke müssen Sie dies möglicherweise code pointsin Bytes darstellen (die meisten Programmiersprachen tun dies), und hier setzt ein Character Encoding.

UTF-8, UTF-16, UTF-32Und so weiter sind alle Character Encodings, und Unicode der Codepunkte werden in diesen Kodierungen, auf unterschiedliche Weise dargestellt.

UTF-8 Die Codierung hat eine Länge variabler Breite, und die darin codierten Zeichen können 1 bis einschließlich 4 Bytes belegen.

UTF-16hat eine variable Länge und darin codierte Zeichen können entweder 1 oder 2 Bytes (8 oder 16 Bit) aufnehmen. Dies stellt nur einen Teil aller Unicode-Zeichen dar, die als BMP (Basic Multilingual Plane) bezeichnet werden, und reicht für fast alle Fälle aus. Java verwendet die UTF-16Codierung für seine Zeichenfolgen und Zeichen.

UTF-32 hat eine feste Länge und jedes Zeichen benötigt genau 4 Bytes (32 Bit).