有界随机变量是Sub-Gaussian

定理：X是一个随机变量，而且X \in[a, b]，设\mu=E[X]，\sigma=\frac{b-a}{2}，我们证明X是一个次高斯随机变量而且有次高斯系数\sigma =\frac{b-a}{2} ，也就是说：

E\left(e^{\lambda(X-\mu)}\right) \leqslant e^{\lambda^{2}(b-a)^{2} / 8}


证明：我们设\psi(\lambda)=\log E\left[e^{\lambda X}\right] \quad \lambda \in R ,

容易计算得到：\psi(0)=0 \quad \psi^{\prime}(\lambda)=\frac{E\left[X e^{\lambda X}\right]}{E\left[e^{\lambda X}\right]}，\psi^{\prime}(0)=\mu

\psi^{\prime \prime}(\lambda)=E_{\lambda}\left[X^{2}\right]-\left(E_{\lambda}[X]\right)^{2}

其中E_{\lambda}[f(X)]:=\frac{E\left[f(X) e^{\lambda X}\right]}{E\left[e^{\lambda X}\right]}                              （\star ）

引入下面的概率测度：在\lambda\in R，随机变量X 固定的时候，P_{\lambda}(A):=\frac{E\left[1_{A} e^{\lambda X}\right]}{E\left[e^{\lambda X}\right]}

有了概率测度就可以定义积分，容易知道在这个概率测度下，一个随机变量Y的积分为：

E_{\lambda }(Y)=\frac{E\left[Ye^{\lambda X}\right]}{E\left[e^{\lambda X}\right]}

所以(\star )就是f(X)在这个概率测度下的积分。

因此\psi^{\prime \prime}(\lambda)是X在这个概率测度下的方差。

然而X \in[a, b]，所以他在任何概率测度下，方差 都小于等于(b-a)^2/4

所以对\psi 在0处展开:

\begin{aligned}\psi(\lambda) &=\psi(0)+\psi^{\prime}(0) \lambda+\frac{\psi^{\prime \prime} (\epsilon)}{2} \lambda^{2} \\&\leq\mu \lambda+\frac{\lambda^{2}}{2} \sup \psi^{\prime \prime}(\epsilon) \\& \leq \mu \lambda+\frac{\lambda^{2}}{2} \cdot \frac{(b-a)^{2}}{4}=\mu \lambda+\frac{\lambda^{2}(b-a)^{2}}{8}\end{aligned}

所以代回就得到要求的结论。



另一个比较有意思的方法，采用对称技术，但是得不到这么好的结果：


最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容