Lexikalische Analyse

Was ist Lexikalische Analyse?
Lexikalische Analyse ist ein Konzept, das auf die Informatik in einer sehr ähnlichen Weise angewendet wird, wie es auf die Linguistik angewendet wird. Im Wesentlichen bedeutet lexikalische Analyse, einen Strom von Buchstaben oder Lauten zu Mengen von Einheiten zu gruppieren, die eine sinnvolle Syntax darstellen. In der Linguistik heißt das Parsing und in der Informatik kann es Parsing oder Tokenizing genannt werden.

Die Idee der lexikalischen Analyse in der Informatik ist, dass die lexikalische Analyse Ströme in ‚Lexeme‘ zerlegt, in denen ein Token die Grundeinheit der Bedeutung darstellt. Tokens werden so aneinandergereiht, dass der Sprachencompiler zurückgehen muss, um sie zu isolieren, um die richtigen Rechenanweisungen zu implementieren. Im Grunde machen sowohl Menschen als auch Computer lexikalische Analysen, aber Computer machen das anders und auf eine viel technischere Art und Weise. Die Art und Weise, wie Computer lexikalische Analysen durchführen, muss für den Menschen nicht transparent sein – er muss lediglich in das Computersystem einprogrammiert werden. Programme, die lexikalische Analysen in der Informatik durchführen, werden oft als Lexer, Tokenizer oder Scanner bezeichnet.