前面已经讲到点估计值是一个样本统计值，我们用这个值来近似的估计总体的某个参数。由于样本统计值本身是一个随机变量，不同的样本集中的统计值会有差别，因此在使用点估计进行总体参数估计的时候，不可能完全的准确。我们可以在点估计值的基础上附加一个误差限 Margin of error 构造一个总体均值的区间估计，使得我们可以了解点估计值与总体参数的近似程度。

区间估计 = 点估计值 ± 误差限

总体方差已知时总体均值的区间估计

通常情况下总体的方差同均值一样都是未知的，但在有些总体中由于具备长期的观察，可以认为总体的方差是已知的。

在 抽样及其分布 中我们讲到当抽样样本集包含的元素的数量 n 足够大的时候，无论总体是否服从正态分布，不同抽样样本集中得到的样本集的均值 x̄ 都服从均值为总体均值 μ，方差为 σ_x̄ = σ / n^1/2 的正态分布，其中 σ 为总体的均方差。在 描述统计 中根据切比雪夫定理和经验法则，对于对称分布的总体来说 95% 的样本点会落在总体均值 μ ± 1.96σ 的范围内。相应的对于 x̄ 这个随机变量来说，95% 的抽样的均值都会落在 μ ± 1.96σ_x̄ 这个范围内。

Sampling distribution within ± 1.96 standard error

在此基础上，如果我们将误差限设置为 ± 1.96σ_x̄ 来构造区间估计 x̄ ± 1.96σ_x̄，由于 μ ± 1.96σ_x̄ 这个区间内可以容纳 95% 的 x̄ 的取值，在此基础上可以知道以这个区间内的任意 x̄ 为中心的 ± 1.96σ_x̄ 的区间会都包含总体的均值 μ，或者说我们 95% 的确信总体的均值落在这个区间内。更为通俗的解释是，如果被抽样的总体服从正态分布，我们通过抽样得到了 100 个 x̄，在它们的基础上构造了 100 个 x̄ ± 1.96σ_x̄ 的区间，那么我们可以完全相信，其中有 95 个区间包含总体的均值 μ。当总体不服从正态分布时，如果抽样中包含的样本数量足够大，依然可以很精确的满足这个条件。

Intervals formed from different sample means

在此称我们以 95% 的置信水平 confidence level 构造了这个 95% 的置信区间，这里 95%为置信系数，常用 1 - α 表示。之所以这样定义可以参见 假设检验 ，并且在下文中可以看到为了便于定义和查表使用，我们会基于 z_α/2 给出区间估计的定义，这个数值为对应右尾面积 upper tail area 为 α/2 的点的位置，也即随机变量的取值落在这个点之外的概率为 α/2。置信水平越高，置信系数越大，区间估计的区间跨度也越大，也即误差限越大。并且，从上述计算公式可知，当为了满足一定的置信水平而得到的误差限过大时，可以通过增加抽样元素的数量 n 来缩小这个误差限。

更一般地，我们将总体的 σ 已知的样本均值的置信区间的构造形式定义如下：

Interval estimates with population standard deviation known

总体方差未知时总体均值的区间估计

前面已经提到，在绝大多数情况下，我们想要研究的总体的方差都是未知的，在这个情况下，我们就需要采用抽样得到的样本集来同时估计 μ 和 σ，在这里我们采用样本标准误差 s 来估计总体的标准差 σ，在此基础上由于误差限和区间估计都将基于 s 得到，我们称 σ 未知情况下的样本均值的分布形态称为 t 分布，或者根据其早期研究者 William Sealy Gosset 的笔名 Student 命名为 Student 分布。对于 t 分布来说，如果被抽样的总体服从正态分布，则其数学表达最为严谨，但当总体不服从正态分布时其在很多情况下也适用。

t 分布的一个重要特征是它需要定义一个自然数表示的自由度 degrees of freedom，并且随着自由度的增加，t 分布与正态分布的区别越来越小，注意从下图中可以看出 t 分布的均值为 0。对应同样的 α 值，自由度越大，最终构造的误差限越小。

t distribution will become closer to normal distribution as degrees of freedom increases

为了区分 t 分布，我们用 t_α/2 来代替 z_α/2 来表示概率密度函数图像中右尾面积为 α/2 的点的位置。

t distribution with α/2 probability in the upper tail

在构造区间估计时，我们用抽样得到的标准误差 s 来估计总体的标准差，至此总体方差未知的区间估计的一般定义为：

Interval estimates with population standard deviation unknown

由于对于任意样本集都有 Σ(x_i - x̄) = 0，因此在计算标准误差 s 时，分子中 Σ(x_i - x̄)² 这一项中有 n - 1 个独立的参数，所以对应这个 t 分布的自由度为 n - 1。

从上面的计算可以看出，之所以要区分 σ 已知和未知两种情形，是在于当 σ 已知时，对于指定的置信系数 1- α，其误差限 z_α/2σ / n^1/2对于不同的样本集是固定的。而当 σ 未知时，由于涉及到不同样本集的 s 的计算，因此误差限对于不同的样本集是不同的，此时就需要充分考虑到自由度的影响。

总体中具有某个特征的样本的比例 p 的区间估计

这一部分有很多相关讨论和均值类似，当 np ≥ 5 且 n(1 - p) ≥ 5 时这个二项分布可以近似用正态分布做计算。且由于 p 是未知的，所以需要标准误差来近似总体的误差，即采用 p̄ 来计算 σ_p̄。

Interval estimates of a population proportion

免责声明

我写这个笔记是为了系统的复习概率论中的一些概念，阅读的是 Statistics for Business and Economics, 12th Edition 英文原版，这是一本非常经典的参考书，毫无保留的满分推荐。尽管书名暗示了是在商业和经济学中的统计学，但根本的统计学知识是不变量，并且和很多优秀的原版书一样，作者时刻注意用实例来讲解统计学概念，基本上每一个新的概念的定义都建立在日常生活的实例的基础上，在此基础上还保留了精美的排版和精心设计的插图，十分便于理解。

笔记最重要的一个目的就是记录者复习的重要资料，如果能对别人也有所帮助那就是额外的奖赏了，所以为了复习方便我擅自截取了书中的很多插图，这些插图仅限于个人学习使用。其他人请勿直接转载，如转载请删除插图并附带这则免责声明，否则由此而产生的版权问题，请转载者自行承担。