AIC准则提出背景
- 计量经济学
- 研究对象：量化的社会经济问题
- 研究目的：利用已有信息，通过模型发现内在机理，并对未知信息作出统计推断
- 核心问题：保证模型反映数据所代表的主要信息，降低噪声干扰项的影响，保证模型的预测准确性
- 模型包含的信息量能否尽可能大？不能。一是干扰信息无法避免；二是若模型包含了全部信息，则模型的复杂度也会相应提高，相应地会提高经济学成本；三是人无法对模型的准确性做出客观而科学的评断。
- 信息论
- 信息熵：信源发出的信息中包含的不确定性大小
- 最大熵：衡量通信信息有效性和可靠性的概念，当信息过少时，信息传递的有效性、可靠性降低，当信息过多时，信息传递的经济性降低。类似地，在模型识别中需要在拟合效果和参数个数之间达到均衡。
- K-L距离/K-L信息量：表示真实概率分布和估计分布的差异，K-L信息量越小，估计的概率分布蕴含的信息越能反映真实分布。它是对传统似然估计、最小二乘估计思路的拓展，这两种估计仅从样本信息出发，要求模型最佳地拟合样本数据，而忽略了总体信息，所以还必须对样本施加额外的要求。
设
表示定义在事件空间上的概率，当用
进行编码时，定义K-L距离为：
常见模型识别方法
对于时间序列模型滞后阶数和模型选择问题，AIC准则之外常见的有假设检验、极大似然函数、统计量法。这些法则的共同点在于：从残差控制或样本信息反映总体信息大小角度评价，充分考虑每个样本，主要提高模型有效性，忽略模型可靠性。此外每种方法还各自存在不足：
- 假设检验：
- 需要主观确定显著性水平
- 存在不对称性：
证实和证伪不对称：从逻辑学上说，没有可以得到彻底证实的东西，而证伪只需要一次足够强的证据即可；
犯第一类错误和第二类错误不对称性：从统计学上说，假设检验中一般只控制犯第一类错误的概率，导致犯第一类错误的概率较小，而犯第二类错误的概率可能较大；
经济意义和统计意义不对称性：从经济学上说，假设检验是基于数据的统计学方法，统计显著的结果在实际中可能不显著。
- 极大似然估计
- 前提：需要假定随机样本服从某个概率分布，未知参数的值应当使得样本的似然函数值达到最大。
- 特点：在利用样本反映总体信息上达到最优，模型的可靠性很高
- 不足：模型的有效性较低，当参数个数增加时，极大似然估计可以无限接近总体情况。
-
统计量
通过对模型预测误差进行控制，并用总体方差进行调整。
主要存在的问题在于总体方差较难估计。 - 最终预报误差
- 优点：通过对预测误差的控制实现模型选择，而非从样本信息反映总体信息程度角度。
- 理解：最终预报误差是损失函数的一种测度，损失函数越小，表明样本信息提取的越充分，模型用于预测的效果越好。
- 公式：对于AR(n)模型，最终预报误差为：
一般模型拟合阶数最高不会超过样本量的
AIC准则及其改进
AIC准则
- AIC准则的第一部分是极大似然函数的对数，是从样本信息对总体信息的反映程度即模型拟合情况考虑的；第二部分是对第一部分的惩罚，达到满足模型有效性和可靠性条件下参数个数最少。
- AIC准则突破了以往仅从模型拟合情况的评价标准，其出发点是最小化信息论中的K-L距离（相对熵），需要同时满足有效性、可靠性和经济性。AIC值越小，估计概率分布越接近真实分布。
- 大样本条件下，AIC准则中第二部分的惩罚较小，第一项起主导作用，最优模型不收敛于真实情况。
从FPC准则到AIC准则的改进表示了从预测因变量到预测因变量分布的本质变化。
AIC准则的改进
BIC/SBC准则（贝叶斯信息准则）
- BIC准则第二项中引入后验概率
将样本量个数作为模型优化的因素，考虑了样本量对真实模型估计的影响，在大样本条件下估计效果更好。
- 小样本情况下AIC准则第二项约束更强，大样本条件下BIC准则第二项约束更强。一般当样本量大于35时使用BIC准则。
AIC准则应用
- 模型定阶和模型选择
- 独立性检验
列联表独立性检验中，对数似然函数为当对模型没有限制时，取
可得最大似然函数值，且参数
中可自由取值的个数为
，此时AIC信息量为
当对模型有独立性限制时，
因此可自由取值的参数个数为
，且取
时似然函数值达到最大，相应地可以计算出
。
若则应当采用有独立性约束模型。
相比独立性检验，AIC准则不需要主观决定显著性水平的值，因此AIC准则可以用于统计分析自动化。
- 方差分析
主要考虑方差分析模型中交互效应显著性问题。
- 因子分析模型
利用AIC准则确定公共因子的个数，使得公共因子既能解释原始变量较多的信息，又不会因为公共因子过多而造成解释信息冗余、增加解释既有因子的复杂度，同时减少了根据贡献率选择公共因子个数时的主观性作用。
其中,
参考文献：
[1] 李子奈.计量经济学模型方法论的若干问题[J].经济动态,2007(10):22-30.
[2] 陈晓峰.AIC准则及其在计量经济学中的应用研究[D].天津:天津财经大学,2012.
[3] 刘璋温.赤池信息量准则 AIC 及其意义[J].数学的实践与认识,1980(03):64-72.
