词法分析把源代码转换成单词流。
词法部分与正则文法相对应，读取前缀几个字符就可以区分是什么单词。
特别设计时会让词法分析变得简单。如：变量名不能是数字开头的，这样读到数字，就知道后面是number常量，而不是变量名。
经过设计后，手写词法分析会很简单。lua的词法分析部分伪代码
function Lex()
local _char = CurrentChar()
if IsDigit(_char) then
return [读取数字常量]
elseif IsLetter(_char) or _char == '_' then
local name = [读取标识符]
if IsReserveKey(name) then
return [确定是什么类型的保留字，一般用个hash表存起来]
else
return [name是变量名]
elseif _char == '\"' or _char == '\'' then
return [读取字符串常量]
elseif _char == '>' then
// 这里需要看两个字符才能确定后面是什么单词
_char = NextChar()
if _char == '=' then
return [大于等于]
else
return [大于]
[elseif ...]
elseif [_char是单字符运算符，如+*%] then
return [单字符token]
elseif [_char是空白符] then
NextChar() // 跳过
return Lex()
end
end
php的词法分析的特殊处理
词法分析一般是无状态的，没有上下文依赖。读去下一个单词，不需要知道上一个单词是什么。
但是php的字符串比较特殊。
php支持很方便的字符串连接语法，使用起来和字符串替换类似。如$name = "我"; echo "i am $name"。
这里的"i am $name"是两个单词，在读到$name时就需要知道当前是不是在处理字符串连接。这个状态是需要词法分析区分保存。
