Ein Token ist eine Zeichenfolge, die gemäß den Regeln als Symbol kategorisiert wird (z. B. IDENTIFIER, NUMBER, COMMA). Das Bilden von Token aus einem eingegebenen Zeichenstrom wird als Tokenisierung bezeichnet, und der Lexer kategorisiert sie nach einem Symboltyp. Ein Token kann wie alles aussehen, was für die Verarbeitung eines Eingabetextstroms oder einer Textdatei nützlich ist.