Wie kann ich in bash einen Unicode-Codepoint [0-9A-F] in ein druckbares Zeichen konvertieren?

Ich habe eine Liste von Unicode-Codepunkten, aber ich kenne keine "einfache" Möglichkeit, diese Hex-Werte in die tatsächlichen Zeichen zu konvertieren, die sie darstellen ...

Ich habe gehört, dass zsh hat echo -e '\u0965', aber ich benutze Bash 4.1.

Gibt es etwas so Einfaches wie die zsh-Methode für Bash?

Sie können bashs Echo oder / bin / echo von GNU coreutils in Kombination mit iconv verwenden:

echo -ne '\x09\x65' | iconv -f utf-16be

Standardmäßig konvertiert iconv in Ihre Gebietsschemacodierung. Möglicherweise ist Perl portabler als die Verwendung eines bestimmten Shell- oder Echo-Befehls. Die meisten mir bekannten UNIX-Systeme verfügen über Perl und sogar über mehrere Windows-Ports.

perl -C -e 'print chr 0x0965'

Die meiste Zeit, wenn ich das tun muss, bin ich in einem Editor wie Vim / GVim, der integrierte Unterstützung hat. Drücken Sie im Einfügemodus Strg-V, gefolgt von u, und geben Sie dann vier Hexadezimalzeichen ein. Wenn Sie ein Zeichen jenseits von U + FFFF möchten, verwenden Sie ein U in Großbuchstaben und geben Sie 8 hexadezimale Zeichen ein. Vim unterstützt auch benutzerdefinierte, einfach zu erstellende Keymaps. Es konvertiert eine Reihe von Zeichen in ein anderes Symbol. Ich habe zum Beispiel eine von mir entwickelte Keymap namens www, die TM in ™, (C) in ©, (R) in ® und so weiter konvertiert. Ich habe auch eine Keymap für Klingonisch für den Fall, dass dies notwendig wird. Ich bin sicher, Emacs hat etwas Ähnliches. Wenn Sie sich in einer GTK + -Anwendung befinden, die GVim und GNOME Terminal enthält, können Sie Control-Shift-u gefolgt von 4 Hex-Zeichen verwenden, um ein Unicode-Zeichen zu erstellen. Ich bin sicher, KDE / Qt hat etwas Ähnliches.

UPDATE: Ab Bash 4.2 scheint es ein eingebautes Feature zu sein:

echo $'\u0965'

UPDATE: Heutzutage wird wahrscheinlich ein Python-Beispiel Perl vorgezogen. Dies funktioniert sowohl in Python 2 als auch in 3:

python -c 'print(u"\u0965")'

Bash 4.2 (veröffentlicht im Jahre 2011) Unterstützung für echo -e '\u0965', printf '\u0965', printf %b '\u0965'und echo $'\u0965'auch Arbeit.

http://tiswww.case.edu/php/chet/bash/FAQ :

o   $'...', echo, and printf understand \uXXXX and \UXXXXXXXX escape sequences.

Wenn Sie GNU Coreutils haben, versuchen Sie printf:

$ printf '\u0965\n'
॥

echo kann die Aufgabe erledigen, wenn Ihre Konsole UTF-8 verwendet und Sie die UTF-8-Codierung haben:

$ echo -e '\xE0\xA5\xA5'

Eine Tabelle mit Unicode-zu-UTF-8-Hex-Codierungen finden Sie hier: http://www.utf8-chartable.de/ . Sie können die Unicode-Codepunkte mit einer Reihe von Skriptsprachen in Hex konvertieren. Hier ist ein Beispiel mit Python:

python -c "print(unichr(int('0965', 16)).encode('utf-8').encode('hex'))"

Das folgende Perl-Skript konvertiert Argumente in den richtigen Hexadezimalwert (viele unnötige Klammern hier):

#!/usr/bin/perl
use strict;
use warnings;
use 5.010;
use Encode;

foreach (@ARGV) {
    say unpack('H*', encode('utf8', chr(hex($_))))
}

Zum Beispiel,

./uni2utf 0965
e0a5a5

Wenn Sie Perl oder Python haben, können Sie diese natürlich auch zum Drucken der Zeichen verwenden.

UPDATE: Hier ist ein bash Weise einen einzelnen Unicode - Wert zu tun ... (durch "bash" Ich meine: nicht ein andere Skriptsprache) .. dank Gilles für eine suggeston in diesem askubuntu Q / A .
Laut diesem Link : recode (obsoletes iconv, dos2unix, unix2dos) .. Edit: aber laut dem Kommentar unten, kann "obsoletes" nur "alternative" bedeuten

      echo -n 0x0965 |recode UTF-16BE/x4..UTF-8

Hier ist eine Methode, um einen rohen Hex-Dump als Eingabe zu verarbeiten (dh keine Escape-Präfixe wie; \ u0965 und no \ x09 \ x65) ..
xxdist ein Hex-Dump-Dienstprogramm ( gepackt mit vim-common), mit dem ein roher Hex-Dump zurückgesetzt werden kann für die Zeichen, die der Dump darstellt ... Unicode-Codepoints sind UTF-16BigEndian, was genau das ist, was ein Hex-Dump ist.
xxdIm Revert-Modus wird ein Stream von Hex-Werten mit Zeilenumbrüchen akzeptiert, die ignoriert werden.

Dieses Skript erstellt einen UTF-16BE-Stream, der dann auf die ursprünglichen Zeichen zurückgesetzt wird.
Die letzte Zeile enthält die beiden benötigten Befehle. xxdundiconv

for line in \
  "Matsuo Basho (1644-1694)" \
  "  pond" \
  "  frog jumps in" \
  "  plop!"
do 
  echo "$line" |iconv -f "$(locale charmap)" -t "UTF-16BE" |xxd -ps -u 
done |
#    (---this is the **revert** code---) 
tee >(xxd -p -u -r |iconv -f "UTF-16BE") ;echo

Hier ist der Ausgang (der zuerst den UTF-16BE-Hex-Dump-Eingang zeigt).
Hinweis; xxdsegmentiert seine eigene Ausgabe mit einer Newline mit 60 Hex-Ziffern ... Die Option revert ignoriert diese Newlines. Es werden alle Newlines ignoriert (da es sich nicht um Hex-Ziffern handelt).

004D0061007400730075006F00200042006100730068006F002000280031
003600340034002D00310036003900340029000A
002000200070006F006E0064000A
0020002000660072006F00670020006A0075006D0070007300200069006E
000A
002000200070006C006F00700021000A

Matsuo Basho (1644-1694)
  pond
  frog jumps in
  plop!

Unter der Annahme, dass die Standardcodierung für Ihr Betriebssystem UTF-8 ist (gilt für die meisten aktuellen Distributionen), können Sie bash direkt zum Konvertieren von UNICODE-Codepunkten verwenden:

echo -e "Unicode Character 'DEVANAGARI DOUBLE DANDA' (U+0965) \U0965"

Natürlich wird die Glyphe nur dann richtig angezeigt, wenn Sie die richtige Schriftart haben. Ab Bash 4.3 funktionieren alle Codepunkte korrekt. Und diese beiden eingebauten Optionen funktionieren auch:

printf "%b" "Unicode Character (U+0965) \U0965 \n"
echo $'Unicode Character (U+0965) \U0965'

Beachten Sie, dass für Bash 4.2 die Unicode-Codepunkte von 0x80bis 0xFFfalsch codiert sind (Bash-Fehler). Um dieses Problem zu umgehen, müssen Sie sich das Programm auf dieser Site ansehen (auch für einen tieferen Einblick in das Problem der Konvertierung von Zahlen in Zeichen geeignet).

Verwenden der Mustersubstitution in der Bash-Version 4.2 (und höher):

${parameter/pattern/string}

wie hier beschrieben http://steve-parker.org/sh/tips/pattern-substitution/

UNICODE_HEX="U+02211"
printf ${UNICODE_HEX/U+/"\U"}
∑

UNICODE_HEX="U+03BB"
printf ${UNICODE_HEX/U+/"\U"}
λ