Quelltext der Seite Token (Übersetzerbau)

{{Belege fehlen}}
Ein '''Token''' ([[Artikel (Wortart)|Art.]]: „das“; [[Plural|Pl.]]: ‚Tokens‘) ist eine [[Zeichenkette]], der von einer [[Formale Grammatik|formalen Grammatik]] ein Typ zugewiesen wird. Das Token bildet die [[Wortschatz|lexikalische]] Grundeinheit für den [[Parser]]. Ein Token entspricht in der Grammatik des Parsers einem [[Terminalsymbol]].

Im trivialen Fall sind Tokens die Zeichen der ursprünglichen [[Eingabe (Computer)|Eingabe]]: Zum Beispiel der [[Buchstabe]] A wird als Token vom Typ A erkannt. Mehrere Zeichen können im Zuge einer [[Tokenizer|lexikalischen Analyse]] zu Tokens zusammengefasst werden. Die einem Token zu Grunde liegende Zeichenkette heißt [[Lexem]]. Beispiele:

{| class="wikitable"
|+
!colspan="2"|Token
|-
!Lexem!!Typ
|-
|123||[[Zahl]]
|-
|foobar||[[Bezeichner]]
|-
|begin||[[Schlüsselwort (Programmierung)|Schlüsselwort]]
|-
|}

{{Siehe auch|Compiler}}

[[Kategorie:Compilerbau]]

[[en:Lexical analysis#Token]]
[[it:Token#Informatica]]
[[pt:Análise léxica#Token]]