非动态面板门槛模型(Hansen,1999)

本文为经典文献阅读系列。我会把一些经典 paper 的数学部分非常详细地推一遍,对于需要引用其他文章才能证明的坑,会在文末给出寻找的索引。

对于文本,非引用的地方一般是作者在 paper 中给出的公式,

而在引用框里的公式则是我本人推导

还有一些自己的想法

希望大家批评指正!


\S \quad \text{A Econometrics Lecture Note} \quad \S

\text{Threshold effects in non-dynamic panels: Estimation, testing, and inference}

\text{Bruce E. Hansen, JOURNAL OF Econometrics, 1999}


对面板门槛模型:
y_{i t}=\left\{\begin{array}{ll} \mu_{i}+\beta_{1}^{\prime} x_{i t}+e_{i t}, & q_{i t} \leqslant \gamma \\ \mu_{i}+\beta_{2}^{\prime} x_{i t}+e_{i t}, & q_{i t}>\gamma \end{array}\right.
也可以写成:
y_{i t}=\mu_{i}+\beta_{1}^{\prime} x_{i t} I\left(q_{i t} \leqslant \gamma\right)+\beta_{2}^{\prime} x_{i t} I\left(q_{i t}>\gamma\right)+e_{i t}
其实还可以写成:
y_{i t}=\mu_{i}+\beta^{\prime} x_{i i}(\gamma)+e_{i t}
其中:

  • x_{i t}(\gamma)=\left(\begin{array}{l} x_{i t} I\left(q_{i t} \leqslant \gamma\right) \\ x_{i t} I\left(q_{i t}>\gamma\right) \end{array}\right)
  • \beta=(\beta_1^\prime, \beta_2^\prime)

要使用面板门槛模型,最关键的地方在于两个检验:

  • 门槛效应是否存在
  • 门槛值是否可信

1 门槛效应是否存在

检验门槛效应是否显著的检验,即检验原假设:
H_0:\beta_1=\beta_2,
这个原假设可以使用 F_1 统计量:
F_1 = \frac{S_0-S_1\left(\hat\gamma\right)}{\hat\sigma^2}
来检验,其中:

  • S_0 是非门槛模型得到的 MSE

  • S_1(\hat\gamma) 是在门槛值为 \hat\gamma 处得到的MSE

  • \hat\gamma = \arg\min_{\gamma} S_1(\gamma)

F_1 统计量并不服从任何标准的分布,==Hansen(1996)==证明了 Bootstrap 程序得到其一阶渐进分布,以此得到的 p-value 也可以用于进行统计推断。


2 门槛值是否估计准确

在门槛效应显著的情形下,我们要进行的下一步检验是:
H_0:\gamma=\gamma_0
其中,\gamma_0 是真实的门槛值。这个假设可以用 LR_1(\gamma_0) 统计量检验:
LR_1(\gamma_0) = \frac{S_1(\gamma_0)-S_1\left(\hat\gamma\right)}{\hat\sigma^2}
本文证明了,在一定的假设条件下,如果原假设成立,那么:
LR_1(\gamma)\stackrel{d}\longrightarrow\xi
其中,n\to\infty 时,\xi 服从分布函数:
{\rm P}(\xi \leqslant x) = \left(1-\exp\left(-\frac{x}{2}\right)\right)^2
于是反分布函数为:
c(\alpha) = -2\ln(1-\sqrt{1-\alpha})
所以可以设置各置信水平的上分位值,比如:10% 的置信水平对应的分位值为6.53;而 5% 的分位值是7.53;最后,1% 的分位值时 10.59。那么如果 LR_1(\gamma) 的值超过了 c(\alpha),那么我们就可以在 \alpha 的置信水平上拒绝原假设 H_0:\gamma=\gamma_0

所以最难的地方在于如何找到 LR_1(\gamma) 的理论分布,下面的数学推导摘录自文章的 Appendix。


3 关于 LR_1(\gamma) 的推导

3.1 定义和假设

对面板门槛模型:
y_{i t}=\left\{\begin{array}{ll} \mu_{i}+\beta_{1}^{\prime} x_{i t}+e_{i t}, & q_{i t} \leqslant \gamma \\ \mu_{i}+\beta_{2}^{\prime} x_{i t}+e_{i t}, & q_{i t}>\gamma \end{array}\right.
也可以写成:
y_{i t}=\mu_{i}+\beta_{1}^{\prime} x_{i t} I\left(q_{i t} \leqslant \gamma\right)+\beta_{2}^{\prime} x_{i t} I\left(q_{i t}>\gamma\right)+e_{i t}
其实还可以写成:
y_{i t}=\mu_{i}+\beta^{\prime} x_{i i}(\gamma)+e_{i t}
其中:

  • x_{i t}(\gamma)=\left(\begin{array}{l} x_{i t} I\left(q_{i t} \leqslant \gamma\right) \\ x_{i t} I\left(q_{i t}>\gamma\right) \end{array}\right)
  • \beta=(\beta_1^\prime, \beta_2^\prime)

\gamma_0 表示模型中 \gamma 的真实取值。并定义:

  1. \theta = \beta_2-\beta_1

  2. C=n^\alpha\theta = n^\alpha (\beta_2-\beta_1),其中 \alpha\in(0,0.5)

  3. f_t(\gamma) 表示门槛变量 q_{it} 的密度函数

  4. z_{it}=C^\prime x_{it} = n^\alpha (\beta_2-\beta_1)^\prime x_{it},其中 C^\prime 表示 C 的转置

  5. D(\gamma)=\sum_{t=1}^T {\rm E}\left(z_{it}^2|q_{it}=\gamma\right)f_t(\gamma)

  6. D=D(\gamma_0)

  7. f_{k|t}(\gamma_1|\gamma_2) 表示给定 q_{it}q_{ik} 的条件密度函数

假设:

  1. 对任意 t(q_{it},x_{it},e_{it}) 都是 iid 的

  2. 对任意 ie_{it}\{(x_{ij},q_{ij})_{j=1}^T\} 是独立的,而且 {\rm E}(e_{it})=0

  3. j=1,\dots,k{\rm P}\left(x_{i1}^j=x_{i2}^j=\cdots=x_{iT}^j\right)<1 ,其中 x_{it}^jx_{it} 的第 j 个元素

  4. {\rm E}|x_{it}|^4<\infty,且 {\rm E}|e_{it}|^4<\infty

  5. 对固定的 C<\infty\alpha\in(0,\frac{1}{2})\theta=n^{-\alpha}C

  6. D(\gamma)\gamma=\gamma_0 处连续

  7. D \in (0,\infty)

  8. 对任意的 k>tf_{k|t}(\gamma_0|\gamma_0)<\infty

其中,假设 1.-4. 是固定效应面板模型和严格外生变量的基本假设。假设 6. 排除了在回归变量的边际分布和回归函数中同时出现的阈值效应。假设 7. 排除了连续化门槛模型,并要求门槛变量 q_{it}\gamma_0 处是连续且正的分布的。假设 8. 排除了对任意 tq_{it}=\gamma_0 的情况

最值得玩味的假设是 5.,它假设 n\to\infty 时,
\theta=\beta_2-\beta_1=n^{-\alpha}C\to0
这个假设减少样本中与门槛值值有关的信息,从而减慢阈值估计的收敛速度。 由于可以将 \theta 降至零的速率设置得很低(通过参数 \alpha 的调节),因此不必将此假设视为限制性很强。 但是,这确实表明,相对于 \theta 大的情况,当 \theta 小时,渐近逼近更有可能提供良好的性质。


3.2 推导

\Rightarrow 表示关于统一度量的弱收敛,记 \lambda_n=n^{1-2\alpha}。于是:

定理 A.1n\to\infty 下,对随机变量 v\sim U(-\bar v,\bar v),有:
S_1(\gamma_0)-S_1\left(\underbrace{\gamma_0+\frac{v}{\lambda_n}}_{=\lambda}\right) \Rightarrow q(v)
其中:

  • q(v) = -D_T|v| + 2\sqrt{\sigma^2D_T}W(v)
  • D_T = D\left(1-\frac{1}{T}\right)
  • W(v) 是一个在 (-\infty,+\infty) 上的双边布朗运动(double-sided standard Brownian motion)

证明 A.1 令:
\nabla z_{it}(\gamma)=z_{it}I(q_{it}\leqslant\gamma)-z_{it}I(q\leqslant \gamma_0)
\gamma=\gamma_0 时,门槛模型成立。对任何 \gamma \ne \gamma_0,回归模型可以被写成:
\begin{split} y_{it} &= \mu_i +\beta_1^\prime x_{it} I(q_{it}\leqslant\gamma_0) + \beta_2^\prime x_{it} I(q_{it}>\gamma_0) + e_{it} \\ &= \mu_i +\beta_1^\prime x_{it} I(q_{it}\leqslant\gamma) + \beta_2^\prime x_{it} I(q_{it}>\gamma) \\ &\quad- \beta_1^\prime x_{it}\left[I(q_{it}\leqslant\gamma)-I(q_{it}\leqslant\gamma_0)\right]-\beta_2^\prime x_{it}[I(q_{it}>\gamma)-I(q_{it}>\gamma_0)] + e_{it} \\ &=\mu_{i}+\beta^{\prime} x_{i t}(\gamma)+\left(\beta_{2}-\beta_{1}\right)^{\prime} x_{i t}\left[I\left(q_{i t} \leqslant \gamma\right)-I\left(q_{i t} \leqslant \gamma_{0}\right)\right]+e_{i t}\\ &=\mu_{i}+\beta^{\prime} x_{i t}(\gamma)+n^{-\alpha} \nabla z_{i t}(\gamma)+e_{i t} \end{split} \tag{A.1}

其中,这里用到了:
\left[I\left(q_{i t} > \gamma\right)-I\left(q_{i t} >\gamma_{0}\right)\right] = -\left[I\left(q_{i t} \leqslant \gamma\right)-I\left(q_{i t} \leqslant \gamma_{0}\right)\right]
这里证明一下,定义:

  • A = \{x_1, x_2, \dots,x_n\}=\{x_i\}_{i=1}^n=I\left(q_{i t} > \gamma\right)
  • \bar A=\{x_1^\prime,x_2^\prime,\dots,x_n^\prime\}= \{x_i^\prime\}_{i=1}^n=I\left(q_{i t}\leqslant \gamma\right)
  • B = \{y_1, y_2, \dots,y_n\}=\{y_i\}_{i=1}^n=I\left(q_{i t} > \gamma_0\right)
  • \bar B=\{y_1^\prime,y_2^\prime,\dots,y_n^\prime\}= \{y_i^\prime\}_{i=1}^n =I\left(q_{i t} \leqslant \gamma_0\right)

关键的部分是如何对 x_ix_i^\prime 的关系进行建模。由于 x_i,x_i^\prime,y_i,y_i^\prime=(0,1),那么可以用
x_i^\prime + x_i = 1 \quad \Rightarrow \quad x_i^\prime = 1 - x_i
来刻画其关系。这种关系对于 y_iy_i^\prime 也成立,于是:
\begin{split} I\left(q_{i t} > \gamma\right)-I\left(q_{i t} >\gamma_{0}\right)&=\{x_i\}_{i=1}^n-\{y_i\}_{i=1}^n \\ &=\{x_i-y_i\}_{i=1}^n \\ &=\{(1-x_i^\prime)-(1-y^\prime_i)\}_{i=1}^n \\ &=\{y_i^\prime-x_i^\prime\}_{i=1}^n \\ &= I\left(q_{i t} \leqslant \gamma_0\right)-I\left(q_{i t} \leqslant \gamma\right)\\ &= -\left[I\left(q_{i t} \leqslant \gamma\right)-I\left(q_{i t} \leqslant \gamma_{0}\right)\right] \end{split}
证毕。

公式 (A.1) 给出了当 \gamma \ne \gamma_0 时回归的精确误差(比正确的模型多了一个 n^{-\alpha} \nabla z_{i t}(\gamma) 的误差修正项)。由于组内估计量的转换是线性的,所以对公式 (A.1) 也同样适用,于是我们有:
y_i^\star = \beta^\prime x_{it}^\star(\gamma) + n^{-\alpha}\nabla z_{it}^\star (\gamma) + e_{it}^\star

这波很好操作,对公式 (A.1) 在时间上求平均:
\begin{split} \frac{1}{T} \sum_{t=1}^T y_{it} &= \underbrace{\frac{1}{T} \sum_{t=1}^T }_{\frac{1}{T}\cdot T}\mu_{i}+\frac{1}{T} \sum_{t=1}^T \beta^{\prime} x_{i t}(\gamma)+\frac{1}{T} \sum_{t=1}^T n^{-\alpha} \nabla z_{i t}(\gamma)+\frac{1}{T} \sum_{t=1}^T e_{i t} \\ \Rightarrow\quad\bar y_i&=\mu_{i}+\beta^{\prime} \bar x_{i}(\gamma)+ n^{-\alpha} \nabla \bar z_{i}(\gamma)+ \bar e_{i} \\ \end{split}
然后把上式对公式 (A.1) 做差,并记 y^\star 等带星号的变量为离差形式,就有:
y_i^\star = \beta^\prime x_{it}^\star(\gamma) + n^{-\alpha}\nabla z_{it}^\star (\gamma) + e_{it}^\star
了。

此模型才是当 \gamma \ne \gamma_0 时应该使用的回归方程。Hasen(1999)表示,\hat \gamma 的渐进分布并不受 \hat\beta 的影响,这个结论在这里也成立(这是因为,门槛的存在与系数是独立的)。于是对一个固定的 \gamma 来说,回归残差是:
\hat e_{it} (\gamma) =n^{-\alpha}\nabla z_{it}^\star (\gamma) + e_{it}^\star \tag{A.2}

这是因为当 \gamma \ne \gamma_0,且 \gamma\beta 毫无关系时,对一个固定的 \gamma 而言,对 \beta 的估计的残差可以写作
\begin{split} y_i^\star &= \beta^\prime x_{it}^\star(\gamma) + n^{-\alpha}\nabla z_{it}^\star (\gamma) + e_{it}^\star \\ &= \beta^\prime x_{it}^\star(\gamma) + \hat e_{it} (\gamma) \end{split}
也就是 \gamma 不变下,对 \beta 的估计的残差,可以被认为是公式 (A.2) 后面的一个整体。再次强调,可以把 n^{-\alpha} \nabla z_{i t}(\gamma) 看作误差修正项

有了公式 (A.2) ,我们于是可以计算,对两个给定不同门槛值 \gamma\gamma_0,模型的 MSE 之差为:
\begin{split} S(\gamma_0)-S(\gamma)&=\sum_{i=1}^n\sum_{t=1}^T \hat e_{it} (\gamma_0)^2 - \sum_{i=1}^n\sum_{t=1}^T \hat e_{it} (\gamma)^2 \\ &=\sum_{i=1}^n\sum_{t=1}^T \left[n^{-\alpha} \underbrace{\nabla z_{it}^\star (\gamma_0)}_{=0} + e_{it}^\star \right]^2 - \sum_{i=1}^n\sum_{t=1}^T \left[n^{-\alpha} \nabla z_{it}^\star (\gamma) + e_{it}^\star\right]^2 \\ &=\sum_{i=1}^n\sum_{t=1}^T \left(e_{it}^\star\right)^2 -\sum_{i=1}^n\sum_{t=1}^T\left[n^{-2\alpha} \nabla z_{it}^\star (\gamma)^2+2n^{-\alpha}\nabla z_{it}^\star (\gamma)e_{it}^\star + \left(e_{it}^\star\right)^2\right] \\ &=-n^{-2\alpha} \sum_{i=1}^n\sum_{t=1}^T\nabla z_{it}^\star (\gamma)^2 - 2n^{-\alpha} \sum_{i=1}^n\sum_{t=1}^T \nabla z_{it}^\star (\gamma)e_{it}^\star \end{split} \tag{A.3}
现在我们拥有了 S(\gamma_0)-S(\gamma) 的表达式,后面的目标是找到它服从什么分布。


节点1:S(\gamma_0)-S(\gamma) 的左边

现在我们证明,对于 \gamma = \gamma_0 + \frac{v}{\lambda_n},当 n\to\infty,对 v\sim U(-\bar v,\bar v)("v uniformly over (-\bar v,\bar v)"),公式 (A.3) 的左项有:
n^{-2\alpha} \sum_{i=1}^n\sum_{t=1}^T\nabla z_{it}^\star \left(\gamma_0+\frac{1}{\lambda_n}\right)^2 \Rightarrow D_T|v| \tag{A.4}
我们会证明在 v\in(0,\bar v) 的情况下,公式 (A.4) 成立。==Hansen(1999)的定理 A.10==证明,它的充分条件是对于 \gamma = \gamma_0 + \frac{v}{\lambda_n},公式 (A.5) 成立:
{\rm E}\left[n^{-2\alpha} \sum_{i=1}^n\sum_{t=1}^T\nabla z_{it}^\star \left(\gamma\right)^2\right] = \lambda_n \sum_{t=1}^T {\rm E}[\nabla z_{it}^\star(\gamma)]^2 \rightarrow D_T|v| \tag{A.5}

证明:第一个等号:基于万物 iid 假设,\nabla z_{it}^\star(\gamma) 之间关于 i,t 也是 iid 的,于是:
\begin{split} {\rm E}&\left[n^{-2\alpha} \sum_{i=1}^n\sum_{t=1}^T\nabla z_{it}^\star \left(\gamma\right)^2\right] \\ &= n \cdot n^{-2\alpha} {\rm E}\left[\frac{1}{n}\sum_{i=1}^n \left( \sum_{t=1}^T\nabla z_{it}^\star \left(\gamma\right)^2 \right)\right] \\ &= \lambda_n {\rm E}\left[ \sum_{t=1}^T\nabla z_{it}^\star \left(\gamma\right)^2 \right] \\ 期望算子的线性性&= \sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}^{*}(\gamma)\right]^{2} \end{split}
证毕。

做类似的证明经常用到几个技巧:

  • iid 的假设下,大数定律:
    {\rm E}\left[\frac{1}{n}\sum_{i=1}^n X_i\right]= {\rm E}[X_i]

  • 期望算子的线性性:
    {\rm E}\left[\sum_{i=1}^n X_i \right] = {\rm E}[X_1+\cdots+X_n] = {\rm E}[X_1] + \cdots + {\rm E}[X_n] = \sum_{i=1}^n {\rm E}[X_i]

  • 无关下标的 \sum 是可以化成系数的:
    \sum_{i=1}^T x_k = T\cdot x_k

掌握这些技巧对做类似的推导和证明很有作用。

把公式 (A.5) 的平方展开,有:

\sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}^{*}(\gamma)\right]^{2}=\sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}(\gamma)\right]^{2}-\frac{1}{T} \sum_{t=1}^{T} \sum_{k=1}^{T} \mathrm{E}\left(\nabla z_{i t}(\gamma) \nabla z_{i k}(\gamma)\right) \tag{A.6}

证明 A.6:直接把离差形式变成原来的形式:
\begin{split} \begin{array}{l} \sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}^{\star}(\gamma)\right]^{2}=\sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}(\gamma)-\nabla \bar{z}_{i k}(\gamma)\right]^{2} \\ =\sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}(\gamma)^{2}-2 \nabla z_{i t}(\gamma) \nabla \bar{z}_{i k}(\gamma)+\nabla \bar{z}_{i k}(\gamma)^{2}\right] \\ =\sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}(\gamma)^{2}\right]-2 \sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}(\gamma) \nabla \bar{z}_{i k}(\gamma)\right]+\sum_{t=1}^{T} \mathrm{E}\left[\nabla \bar{z}_{i k}(\gamma)^{2}\right] \\ =\sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}(\gamma)^{2}\right]-2 \sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}(\gamma) \cdot \frac{1}{T} \sum_{k=1}^{T} \nabla z_{i k}(\gamma)\right]+\sum_{t=1}^{T} \mathrm{E}\left[\left(\frac{1}{T} \sum_{k=1}^{T} \nabla z_{i k}(\gamma)\right)^{2}\right] \\ =\sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}(\gamma)^{2}\right]-\frac{2}{T} \sum_{t=1}^{T} \mathrm{E}\left[\nabla z_{i t}(\gamma) \cdot \sum_{k=1}^{T} \nabla z_{i k}(\gamma)\right]+\frac{1}{T^{2}} \sum_{t=1}^{T} \mathrm{E}\left[\left(\sum_{k=1}^{T} \nabla z_{i k}(\gamma)\right)^{2}\right] \end{array} \end{split}

注意到第三项是的第一个 \sum 是对 t 求和,而期望的内部是对 k 求和,于是第一个 \sum 仅仅是简单的叠加,于是 \sum_{t=1}^T(\cdot)=T \times (\cdot)。用同样的道理,可以把第二项写成公式 (A.6) 的形式,即:
\begin{split} \sum_{t=1}^T {\rm E}\left[\nabla z_{it}^\star(\gamma)\right]^2 &=\sum_{t=1}^T{\rm E}[\nabla z_{i t}(\gamma)^2]-\frac{2}{T}\sum_{t=1}^T{\rm E}\left[\nabla z_{i t}(\gamma)\cdot \sum_{k=1}^T \nabla z_{i k}(\gamma)\right] \\ &\quad\quad +\frac{1}{T^2}\cdot T \cdot {\rm E}\left[\left( \sum_{k=1}^T \nabla z_{i k}(\gamma)\right)^2\right]\\ &=\sum_{t=1}^T{\rm E}[\nabla z_{i t}(\gamma)^2]-\frac{2}{T}\sum_{t=1}^T\sum_{k=1}^T{\rm E}\left[\nabla z_{i t}(\gamma)\cdot \nabla z_{i k}(\gamma)\right] \\ &\quad\quad+\frac{1}{T}{\rm E}\left[\left( \sum_{k=1}^T \nabla z_{i k}(\gamma)\right)^2\right]\\ \end{split}
这就离公式 (A.6) 很接近了,接下来我们要证明的是:
\begin{split} \sum_{t=1}^T \sum_{k=1}^T{\rm E}\left[\nabla z_{i t}(\gamma)\cdot \nabla z_{i k}(\gamma)\right] = {\rm E}\left[\left( \sum_{k=1}^T \nabla z_{i k}(\gamma)\right)^2\right] \end{split}
这两个东西在本质上都是和的平方,见:
\begin{split} \sum_{t=1}^T \sum_{k=1}^T{\rm E}\left[\nabla z_{i t}(\gamma)\cdot \nabla z_{i k}(\gamma)\right] &= {\rm E}\left[\sum_{t=1}^T \sum_{k=1}^T\nabla z_{i t}(\gamma)\cdot \nabla z_{i k}(\gamma)\right] \\ &= {\rm E}\left[\sum_{t=1}^T \nabla z_{i t}(\gamma)\cdot \sum_{k=1}^T \nabla z_{i k}(\gamma)\right] \\ &={\rm E}\left[\left(\sum_{t=1}^T \nabla z_{i t}(\gamma)\right)^2\right] \end{split}
证毕。

从这里开始,我们转向概率分布

考虑公式 (A.6) 的右边的第一项,注意到在 n\to\infty 时,\gamma = \gamma_0 + v/\lambda_n\to \gamma_0,于是 n\to\infty 时:
\lambda_n{\rm P}(\gamma_0 \leqslant q_{it} \leqslant \gamma)=v\cdot\frac{{\rm P}(q_{it}\leqslant\gamma)-{\rm P}(q_{it}\leqslant\gamma_0)}{\gamma-\gamma_0} \to vf_t(\gamma_0)\tag{A.7}

因为 n\to\infty\gamma\to\gamma_0,根据累计分布函数的定义,这实际上是导数的定义:
\lim_{\gamma\to\gamma_0}\frac{F(\gamma)-F(\gamma_0)}{\gamma-\gamma_0}\to f_t(\gamma_0)
即,求累计分布函数在 \gamma_0 处的微分,也就是求密度函数。另外:
\gamma = \gamma_0 + \frac{v}{\lambda_n} \Rightarrow \lambda_n=\frac{v}{\gamma-\gamma_0}
而:
{\rm P}(\gamma_0\leqslant q_{it} \leqslant \gamma) = {\rm P}(q_{it} \leqslant \gamma) - {\rm P}(q_{it} \leqslant\gamma_0)
两个式子一乘,就有上面的结果了。其数学意义是,在样本容量很大时, q_{it} 落在 [\gamma_0,\gamma] 之间的概率的 \lambda_n 倍趋向于 q_{it} 的概率密度函数在 \gamma_0 处的 v 倍。其中 v 服从均匀分布。

其实我觉得,写成:
\mathrm{P}\left(\gamma_{0} \leqslant q_{i t} \leqslant \gamma\right) \rightarrow \frac{v}{\lambda_{n}} \cdot f_{t}\left(\gamma_{0}\right)
更直观,也就是 q_{it} 落在 [\gamma_0,\gamma] 之间的概率是 q_{it} 的概率密度函数乘以一个系数。这个系数是一个均匀分布的 v 和一个随样本容量 n\to\infty 时趋向于无穷的量(\lambda_n)的商。

n\to\infty 时,{\rm P}(\cdot) 趋向于一个点,从而概率是 0。正好符合 pdf 的性质。

于是,最关键的一步来了:

\begin{split} \lambda_n \sum_{t=1}^T{\rm E}[\nabla z_{it}(\gamma)]^2 &= \lambda_n \sum_{t=1}^T {\rm E}[z_{it}^2I(\gamma_0 < q_{it}\leqslant\gamma)]\\ 使用迭代期望定律&= \sum_{t=1}^T {\rm E}[z_{it}^2|\gamma_0 < q_{it} < \gamma]\underbrace{\lambda_n {\rm P}(\gamma_0 < q_{it}\leqslant\gamma)}_{=vf_t(\gamma_0)+o(1)} \\ &\to \sum_{t=1}^T v{\rm E}[z_{it}^2|q_{it}=\gamma_0]f_t(\gamma_0)\\ &=vD \end{split}\tag{A.8}

这一步最巧妙的地方在于,把 z_{it}^2 与一个示性函数的积的期望表示为该示性函数发生的条件下 z_{it}^2 条件期望,从而实现从期望到密度函数的转化。

之所以要转而证明 (A.5) 成立,是因为 (A.4) 不能分离 z_{it}^2I(\cdot),而前者的期望算子具备这样的良好的数学性质

接下来考虑公式 (A.6) 的第二项。对于 k>t
\begin{split} {\rm P}(\gamma_0& < q_{ik} \leqslant \gamma | \gamma_0 < q_{it} \leqslant \gamma)\\ &= v \lambda_n^{-1} \frac{\left[{\rm P}(q_{ik}\leqslant \gamma | \gamma_0 < q_{it} \leqslant \gamma)-{\rm P}(q_{ik}\leqslant\gamma_0|\gamma_0 < q_{it} \leqslant \gamma) \right]}{\gamma-\gamma_0} \\ &=v\lambda_n^{-1} \left(f_{k|t}(\gamma_0|\gamma_0\right) + o(1))\\ &\to 0 \end{split}

x\to a,两个无穷小量 \alpha(x)\beta(x) 之间有记号 \alpha(x)=o[\beta(x)],如果 x\to a 时,无穷小量 \alpha(x) 是关于 \beta(x) 的高阶无穷小,即 x\to a 时,
\frac{\alpha(x)}{\beta(x)} \to 0
特别地,当 x\to a 时,f(x)\to 0,那么就记为:
f(x)=o(1)
对于记号 O(\cdot),就是当 x\to a 时,\frac{f(x)}{g(x)} 保持有界,就记作:
f(x) = O[g(x)]
特别地,记号:
f(x) = O(1)
表示在 x\to a 时,f(x) 是有界的量。

第二个等号到第三个等号其实是在 \gamma_0 附近用切线近似割线的值。于是,记 {\rm P}(q_{ik} \leqslant \gamma | \gamma_0 < q_{it} \leqslant \gamma)pdfF(\gamma|\gamma_0<q_{it}\leqslant\gamma)。在 \gamma=\gamma_0 处做 1 阶数展开,就有:
\begin{split} {\rm P}(\gamma_0& < q_{ik} \leqslant \gamma | \gamma_0 < q_{it} \leqslant \gamma)\\ &= v \lambda_n^{-1} \frac{\left[{\rm P}(q_{ik}\leqslant \gamma | \gamma_0 < q_{it} \leqslant \gamma)-{\rm P}(q_{ik}\leqslant\gamma_0|\gamma_0 < q_{it} \leqslant \gamma) \right]}{\gamma-\gamma_0} \\ &=v\lambda_n^{-1} \frac{F(\gamma|\cdot)-F(\gamma_0|\cdot)}{\gamma-\gamma_0} \end{split}
如果对上面的式子直接求 n\to\infty 的极限,那么可以直接得到:
\lim_{n\to\infty} v\lambda_n^{-1} f_{k|t}(\gamma_0|\gamma_0) =0
因为 v 有界,\lambda_n^{-1}\to0f_{k|t}(\gamma_0|\gamma_0)<\infty

作者可能是为了让我们看的更清楚(并没有),把求极限的两个部分拆开了,计算的是割线的近似:
\frac{F(\gamma \mid \cdot)-F\left(\gamma_{0} \mid \cdot\right)}{\gamma-\gamma_{0}}=f_{k \mid t}\left(\gamma_{0} \mid \gamma_{0}\right)+o(1)
之所以是 o(1),是因为在 \gamma\to\gamma_0 时,上式就是导数的定义,没有误差。

结合 (A.7),对于 k>t

\begin{array}{l} \lambda_{n} \mathrm{P}\left(\gamma_{0}<q_{i t} \leqslant \gamma, \gamma_{0}<q_{i k} \leqslant \gamma\right) \\ \quad=\lambda_{n} \mathrm{P}\left(\gamma_{0}<q_{i t} \leqslant \gamma \mid \gamma_{0}<q_{i k} \leqslant \gamma\right) \cdot \mathrm{P}\left(\gamma_{0}<q_{i k} \leqslant \gamma\right) \\ \quad \rightarrow 0 \end{array} \tag{A.9}

证明:
\begin{split} \lambda_n{\rm P}&(\gamma_0 < q_{it} \leqslant \gamma, \gamma_0 < q_{ik} \leqslant \gamma) \\ &= \lambda_n{\rm P}(\gamma_0 < q_{it} \leqslant \gamma| \gamma_0 < q_{ik} \leqslant \gamma) \cdot {\rm P}(\gamma_0 < q_{ik} \leqslant \gamma) \\ &= \underbrace{\lambda_n {\rm P}(\gamma_0 < q_{ik} \leqslant \gamma)}_{(A.7)}{\rm P}(\gamma_0 < q_{it} \leqslant \gamma| \gamma_0 < q_{ik} \leqslant \gamma) \\ &\to vf_t(\gamma_0) \cdot 0 \to 0 \end{split}
证毕。

公式 (A.9)k < t 的情形也适用(对称的)。于是:

\begin{split} \lambda_n\frac{1}{T} &\sum_{t=1}^{T} \sum_{k=1}^{T} \mathrm{E}\left(\nabla z_{i t}(\gamma) \nabla z_{i k}(\gamma)\right) \\ &= \frac{1}{T} \sum_{t=1}^{T} \sum_{k=1}^{T} \lambda_n {\rm E}\left[z_{it}z_{ik} I(\gamma_0 < q_{it} \leqslant \gamma) I(\gamma_0 < q_{ik} \leqslant \gamma)\right] \\ &= \frac{1}{T} \sum_{t=1}^{T} \sum_{k=1}^{T} {\rm E}\left[z_{it}^2| \gamma_0 < q_{it} \leqslant \gamma,\gamma_0 < q_{ik} \leqslant \gamma\right]\\ &\quad \quad \cdot \lambda_n{\rm P}(\gamma_0 < q_{it} \leqslant \gamma,\gamma_0 < q_{ik} \leqslant \gamma)\\ &=\frac{1}{T} \sum_{t=1}^{T} {\rm E}(z_{it}^2|\gamma_0 < q_{it}\leqslant\gamma)\lambda_n {\rm P}(\gamma_0 < q_{it}\leqslant\gamma) + o(1) \\ &\to \frac{1}{T}\sum_{t=1}^{T} {\rm E}(z_{it}^2|q_{it}=\gamma_0)vf_t(\gamma_0) = \frac{1}{T}vD \end{split} \tag{A.10}

证明:倒数第二个等号
\begin{split} &\frac{1}{T} \sum_{t=1}^{T} \sum_{k=1}^{T} \mathrm{E}\left[z_{i t}^{2} \mid \gamma_{0}<q_{i 1} \leqslant \gamma, \gamma_{0}<q_{i k} \leqslant \gamma\right]\lambda_{n} \cdot \mathrm{P}\left(\gamma_{0}<q_{i t} \leqslant \gamma, \gamma_{0}<q_{i k} \leqslant \gamma\right) \\ &= \frac{\lambda_{n}}{T}\sum_{\text{all}} \times \\ &\quad\left[ \begin{matrix} {\rm E}[z_{i1}^2|\gamma_{0}<q_{i 1} \leqslant \gamma, \gamma_{0}<q_{i 1} \leqslant \gamma]\cdot{\rm P}(\cdot) & \cdots & {\rm E}[z_{i1}^2|\gamma_{0}<q_{i1} \leqslant \gamma, \gamma_{0}<q_{i T} \leqslant \gamma] \cdot{\rm P}(\cdot)\\ \vdots & \ddots & \vdots \\ {\rm E}[z_{iT}^2|\gamma_{0}<q_{i T} \leqslant \gamma, \gamma_{0}<q_{i 1} \leqslant \gamma]\cdot{\rm P}(\cdot) & \cdots & {\rm E}[z_{iT}^2|\gamma_{0}<q_{1 T} \leqslant \gamma, \gamma_{0}<q_{i T} \leqslant \gamma]\cdot{\rm P}(\cdot) \end{matrix}\right] \\ &=\frac{\lambda_{n}}{T}\left(\sum_{t=k} + \sum_{t\ne k} \right)\\ &= \frac{1}{T}\sum_{t=1}^T {\rm E}[z_{it}^2|\gamma_0<q_{it}\leqslant\gamma]\lambda_{n} \mathrm{P}\left(\gamma_{0}<q_{i t} \leqslant \gamma\right) \\ &\quad+ \frac{1}{T}\sum_{t\ne k} \lambda_{n}{\rm E}(z_{it}^2|\gamma_{0}<q_{i t} \leqslant \gamma, \gamma_{0}<q_{i k} \leqslant \gamma) {\rm P}(\gamma_{0}<q_{i t} \leqslant \gamma, \gamma_{0}<q_{i k} \leqslant \gamma) \end{split}
于是,左项就是我们要获取的。现在我们需要证明,
\frac{1}{T}\sum_{t\ne k} \lambda_{n}{\rm E}(z_{it}^2|\gamma_{0}<q_{i t} \leqslant \gamma, \gamma_{0}<q_{i k} \leqslant \gamma) {\rm P}(\gamma_{0}<q_{i t} \leqslant \gamma, \gamma_{0}<q_{i k} \leqslant \gamma) \to 0
由于各部分大于等于 0,加起来为 0,于是改证:在 n\to\infty 时,\gamma\to\gamma_0,使得
\lambda_n{\rm P}(\gamma_{0}<q_{i t} \leqslant \gamma, \gamma_{0}<q_{i k} \leqslant \gamma) \to 0
这就是 A.9 啊。

证毕。

于是把 (A.8)(A.10) 代入 (A.5),就有:
(A.5)=vD-\frac{1}{T}vD = \left(1-\frac{1}{T}\right)vD=D_T|v|

其中,我们证明了 v>0 的情形,实际上对于 v<0 也适用,所以用 |v|

于是我们找到公式 (A.3) 的左边了。


节点2:S(\gamma_0)-S(\gamma) 的右边

我们下面尝试证明公式 (A.3) 的右边是:对于 v\sim U[-\bar v, \bar v]
n^{-\alpha} \sum_{i=1}^{n} \sum_{t=1}^{T} \nabla z_{i t}^{*}\left(\gamma_{0}+v / \lambda_{n}\right) e_{i t}^{*} \Rightarrow \sqrt{\sigma^{2} D_{T}} W(v) \tag{A.11}
最小二乘的投影性质表明:\sum_{t=1}^T \nabla z_{it}^\star(\gamma)e_{it}^\star = \sum_{t=1}^T \nabla z_{it}^\star (\gamma)e_{it},并且 e_{it} 是 iid 的,于是:
\begin{aligned} \mathrm{E}\left(n^{-\alpha} \sum_{i=1}^{n} \sum_{t=1}^{T} \nabla z_{i t}^{*}(\gamma) e_{i t}^{*}\right)^{2} &=\lambda_{n} \mathrm{E}\left(\sum_{t=1}^{T} \nabla z_{i t}^{*}(\gamma) e_{i t}\right)^{2} \\ &=\lambda_{n} \sum_{t=1}^{T} \mathrm{E}\left(\nabla z_{i t}^{*}(\gamma)\right)^{2} \sigma^{2} \\ & \rightarrow D_{T}|v| \sigma^{2} \end{aligned} \tag{A.12}

证明:第一个等号:
\begin{split} \sum_{t=1}^T \nabla z_{it}^\star(\gamma)e_{it}^\star &= \sum_{t=1}^T \nabla z_{it}^\star(\gamma)\left(e_{it}-\frac{1}{T}\sum_{k=1}^n e_{ik}\right) \\ &= \sum_{t=1}^T \nabla z_{it}^\star(\gamma)e_{it} - \frac{1}{T}\sum_{t=1}^T \nabla z_{it}^\star(\gamma)\sum_{i=k}^n e_{ik} \end{split}
后面我们证明第二项等于零:
\begin{aligned} \sum_{t=1}^{T} \nabla z_{i t}^{\star}(\gamma) & \sum_{i=k}^{n} e_{i k}=\sum_{i=k}^{n} e_{i k} \sum_{t=1}^{T}\left(\nabla z_{i t}(\gamma)-\frac{1}{T} \sum_{j=1}^{n} z_{i j}(\gamma)\right) \\ &=\sum_{i=k}^{n} e_{i k} \sum_{t=1}^{T} \nabla z_{i t}(\gamma)-\sum_{i=k}^{n} e_{i k} \sum_{i=t}^{n} \frac{1}{T} \sum_{j=1}^{n} \nabla z_{i j}(\gamma) \\ &=\sum_{i=k}^{n} \sum_{t=1}^{T} e_{i k} \nabla z_{i t}(\gamma)-\sum_{i=k}^{n} \sum_{j=1}^{T} e_{i k} \nabla z_{i j}(\gamma)=0 \end{aligned}
证毕。

证明:第二个等号
\begin{aligned} \mathrm{E}\left(\sum_{t=1}^{T} \nabla z_{i t}^{*}(\gamma) e_{i t}\right)^{2}&= \left({\rm E}[\nabla z_{1t}^{*}(\gamma) e_{1 t}+\cdots+\nabla z_{n t}^{*}(\gamma) e_{n t}] \right)^2 \\ &= ({\rm E}[\nabla z_{1t}^{*}(\gamma) e_{1 t}] + \cdots +{\rm E}[\nabla z_{nt}^{*}(\gamma) e_{n t}])^2 \\ (z_{it}独立于x_{it}从而独立于z_{it})&= ({\rm E}[\nabla z_{1t}]{\rm E}[e_{1t}]+\cdots+{\rm E}[\nabla z_{nt}]{\rm E}[e_{nt}])^2 \\ (e_{it}是\text{iid}的,而且{\rm E}[e_{it}]=\sigma)&=\sum_{t=1}^{T} {\rm E}[ \nabla z_{i t}^{*}(\gamma) ]^2\sigma^2 \end{aligned}
证毕。

第三个等号用了 n\to\infty 时,\gamma\to\gamma_0

这就确定了随机过程的有限维分布是双向布朗运动(double-sided Brownian motion)的。通过 Hasen(1999) 的定理 A.11,这里的公式 (A.12) 和假设1足以推导出公式 (A.11)。于是公式 (A.4)(A.11) 结合公式 (A.3) 就可以得出定理 A.1了。


定理 1 的证明

由于 \hat\gamma 是要最小化 S(\gamma),于是 LR_1 实际上满足:
\begin{split} LR_1(\gamma_0) = \max_\gamma \left( \frac{S_1(\gamma_0)-S_1(\gamma)}{\hat\sigma^2} \right) = \max_v \left( \frac{S_1(\gamma_0)-S_1\left(\gamma_0+\frac{v}{\lambda_n}\right)}{\hat\sigma^2} \right) \end{split}\tag{A.13}
==Hasen(1999)表明==,在假设 1 成立的条件下:
\hat v \equiv \lambda_n \left(\hat\gamma-\gamma_0\right) =O_p(1) \tag{A.14}

一个随机向量 X_nO_p(1) 的,如果他是随机有界的;是 o_p(1) 的,如果它按照概率收敛到0

本文不会重复证明公式 (A.14)。公式 (A.14) 的随机有界性表明,对任何 \eta>0,总存在一个 \bar v<\infty,使得:
{\rm P}(|\hat v|\leqslant\bar v)\geqslant 1-\eta \tag{A.15}

在这里,随机有界的定义是:对任何 \varepsilon>0,如果存在一个 M<\infty,使得:
{\rm Pr}(\| X_n \| \leqslant M \|Y_n\|) \geqslant 1-\varepsilon,\quad \forall n\in N
那么就说:
X_n = O_p(Y_n)
特别地,如果随机序列 Y_n 退化为常数序列 \{1,\dots,1\},那么我们就记为 O_p(1)

令:
\begin{split} \widetilde{LR} &= \max_{|v|\leqslant \bar v} \left(\frac{S_1(\gamma_0)-S_1(\gamma_0+v/\lambda_n)}{\hat \sigma^2}\right) \\ &\Rightarrow \sigma^{-2} \max_{|v|\leqslant \bar v} q(v) \end{split}
这里的收敛符号使用了 n\to\infty\hat\sigma\to\sigma 和刚刚证明的定理 A.1

定理 A.1n\to\infty 下,对随机变量 v\sim U(-\bar v,\bar v),有:
S_1(\gamma_0)-S_1\left(\gamma_0+\frac{v}{\lambda_n}\right) \Rightarrow q(v)
其中:

  • q(v) = -D_T|v| + 2\sqrt{\sigma^2D_T}W(v)
  • D_T = D\left(1-\frac{1}{T}\right)
  • W(v) 是一个在 (-\infty,+\infty) 上的双边布朗运动(double-sided standard Brownian motion)

公式 (A.15) 表明,
{\rm P}(LR_1(\gamma_0)=\widetilde{LR}) \geqslant 1-\eta
这个不等式表明:
LR_1(\gamma_0) \Rightarrow \sigma^{-2}\max_{-\infty < v < \infty} q(v) = \xi
其中,Hasen(1999)的定理 2证明了 \xi 的分布函数为:
P(\xi\leqslant x)= \left(1-\exp\left(-\frac{x}{2}\right)\right)^2


需要从《Sample splitting and threshold estimation》(Hasen,2000)获取的证明有:

  • 定理 A.10:(A.5)\Rightarrow(A.4)
  • 定理 A.11:(A.12)+\text{Assumption 1} \Rightarrow (A.11)
  • 定理 2:P(\xi\leqslant x)= \left(1-\exp\left(-\frac{x}{2}\right)\right)^2
  • 不知道是哪个定理:(A.14):\quad\hat v \equiv \lambda_n \left(\hat\gamma-\gamma_0\right) =O_p(1)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,294评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,780评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,001评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,593评论 1 289
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,687评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,679评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,667评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,426评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,872评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,180评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,346评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,019评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,658评论 3 323
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,268评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,495评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,275评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,207评论 2 352