词法分析是把字符流翻译成单词流
所谓单词(Lexemes)就是对编译有意义的部分，对编译没有意义的部分(注释、空格、换行等)被直接丢弃掉了。单词由型(Token)和值(Attribute)两部分组成。
单词是怎么被识别出来的？
自动构造词法分析程序
词法分析在逻辑上是简单的，在实现上是复杂的，让简单回归简单，这就是自动构造存在的意义。