在前面的最小二乘法讲解中 （回归分析中的问题和修正的探讨（下篇），最小二乘法的6个假设 (中篇)）， 有遇到广义最小二乘法GLS 、2阶段最小二乘法2SLS、和工具变量IV。这里探讨一下， 这三个方法在某些情况下的等价性。
引言
数学背景好的GLS
Alexander Aitken是新西兰伟大的数学家， 在1935年， 他是爱丁堡大学University of Edinburgh的博士，当时就研究数据的平滑 Smoothing of Data， 之后搞精算数学和统计。广义最小二乘法GLS就是他发明的。
经济+统计的IV
Philip Green Wright在1928年就阐述了基本思想，用在回归方法论上， 但是知道1945年才被Olav Reiersøl， 一个挪威的经济学家，在他的博士毕业论文中，正式用来定位为处理变量误差的经典方法。
Wright毕业于Tufts College的本科， 哈佛的经济学博士，后来又回到Tufts当社会经济学教授。 Tufts特意收集了他的照片墙， 来纪念他发明了工具变量。
经济基因的2SLS
2阶段和3阶段最小二乘法 2SLS/3SLS都是经济学家Henri Theil发明的（1953年和1962年）。Theil是荷兰乌特勒支大学Utrecht University发物理出身的， 战后1951年在阿姆斯特丹大学University of Amsterdam转学经济。 年轻的时候超级帅。
他有句名言，就是模型是被用的，而不是被信的。
所以， 按发明时间来说，IV最早被发明(1928年)， GLS其次(1935)，而2SLS是最晚的(1953)。可能跟线性代数的发展历史有一定关系， 是因为IV建立在相关性基础上， 但是GLS需要方差矩阵表示的发展， 而2SLS需要线性方程组的发展基础。 所以说线性代数在经济和统计的学习中也很为重要。
IV 形式
一般情况下工具变量的要求就是和误差不相关：
还可以进一步宽松到(Z^T)X伪逆的情况下：
2SLS 形式
第一阶段：
第二阶段， 先在X估计上按OLS计算 ：
根据第一阶段的结果， 带入X的估计值：
化简，得到不含X估计值的表达式：
流程总结如下：
IV 等价为 2SLS
先看一下， 推导过程中的变化， 从IV到2SLS：
其中这里面出现的Pz是投影矩阵，具有如下性质：
是不是有点像单位矩阵的性质？对的，这就是投影矩阵。
从图形上理解， 由于E(XU) = 0 不成立， 所以需要投影到垂直的方向上去， 一种方法是直接找一个工具变量去做，好比找到一个垂直的面，然后随便确定垂直面上一个， 而另外一种方法，就是先找到一个投影矩阵先， 然后再投影得到这个变量。
那么这两种方法有什么本质的差别么？
有的，工具变量方法(Z^T) X 并不是方阵的时候，也就是两者Rank可能并不一致的时候， 那么这时候两阶段2SLS依然可以使用， 存在一个寻优的过程。
如果一致的情况下， 那么IV和2SLS没有本质的区别。 其实，这也可以看成是矩估计MME和广义矩估计GMM的差异。 如果这么来说的话， 那么2SLS可以看成是IV的一种泛化。
2SLS等价为GLS
从形式上， 2阶段最小二乘法很容易看成是广义最小二乘法。 但是， 这是有要求的，但是含义却完全不一样了。
不过，对于自相关的情况下，
变换到如下形式后， 计算2SLS还是可以的。
这种情况下， 两者是等价的， 只是最后在2SLS里面投影完成后的效果， 和GLS里面标准化之后的效果是一致的。
但是两边的X的内容已经完全不一样了， 在2SLS里面是变换过后的X了。
小结：
所以， 一般情况下，尽管2SLS 和 GLS 形式上非常类似， 但是其实解决的问题还是蛮不一样的，2SLS和IV形式上有差距， 但是解决问题还是蛮一致的。 另外也凸显了2SLS强大的能力。
我们通过引入IV、GLS、2SLS的等价性变换的讨论， 让大家更深入了解这些工具的特征。
关键词：
Instrumental Variable
Generalized Least Square
2 Stage Least Square
Alexander Aitken
Philip Green Wright
Henri Theil
相关话题：
Z-Test vs T-Test vs F-Test vs χ2-Test
参考：
https://ase.tufts.edu/economics/news/highlightsWright.htm
http://ajbuckeconbikesail.net/notes/sysestimat/sysestimat.HTM
