Was sollte der Datentyp der Token sein, die ein Lexer an seinen Parser zurückgibt?

Welchen Datentyp soll ein Lexer, wie im Titel erwähnt, zurückgeben / dem Parser geben? Beim Lesen des Artikels zur lexikalischen Analyse , den Wikipedia verfasst hat, wurde Folgendes festgestellt: In der Informatik ist die lexikalische Analyse das Umwandeln einer Folge von Zeichen (wie in einem...