先从基本概念讲起。
期望
对于一个随机变量，它在取不同值时的概率用函数
表示。比如色子的点数是一个随机变量，它为1的概率可以表达成
，这与我们代数中的函数有点不同，代数中的函数是输入一个确切的数，而这里不是。我甚至可以用
来表示投硬币为正面的概率。不过，本文其余部分都要求概率函数的输入值是数字。
期望表示随机变量的中心位置。例如你投色子很多次，最后计算的点数平均值应该是所有点数的均值，因为出现每种点数的概率相同。如果概率不同，则需要用概率加权，于是我们的期望公式就是：
它表示把每一种可能的输出的值乘以其概率后求和。
性质1: 期望的线性关系
对于两个相互独立的随机变量 ，我们有：
这个就不做证明了。有2个色子各自投掷，两者的期望都是 ，那么问两个色子之和的期望，显然是
。这是可以直观认知的。用
表示一个常数，它只是缩放每一个随机变量的值而已，进一步推广我们有：
性质2: 样本均值的期望
假定有一个随机变量 的期望值和方差分别是
。现在对这个数据集进行随机抽样（有放回的抽样，因为我需要保证整体的分布是不变的），抽到的样本一个一个的数据用
表示，现在试求
的期望。
根据样本均值的定义我们有：
根据性质1的推论：
由于每个 所属的分布和
是一样的。两者都是有放回地随机抽一个，因此：
我们的结论是：有放回的随机抽样的样本均值和总体均值的期望是一致的。
性质3: 期望的乘积关系
对于两个相互独立的随机变量 ，我们有：
这里给一个比较容易理解的说明，而不是证明：
首先，令 ，
。于是有：
仔细观察可以发现，根据乘法结合律我们得到了 与
之间的所有组合，如
等。
由于是两个独立随机变量，因此两者之积的概率满足 。我们得到了两者乘积的每一个可能值，以及它们对应的概率，全部加起来就是期望的定义。
方差
方差用于表示数据的分散程度。数据波动越大，方差就越大。定义如下：
性质1
如果随机变量变成
会如何（
为常数）？显然它只是最后输出的值改变了倍数，但是每个输出的值的概率是一样的，即
。但是，均值会放大
倍。于是上式变成：
性质2
如果随机变量变成
呢？其实也就是减去一个常数（总体的期望）再平方。想象色子的点数分别减3.5再平方，变成
，然而每个新的点数出现的概率还是不变，所以
。如果我们求这个新变量的期望：
没错，这正是方差的公式。这个式子可以认为是方差的第二种定义，它和第一种定义是等价的。
令 ，再重复一遍公式：
性质3
证明之前的准备：
-
视为一个常数：
- 概率之和恒为1：
证明：
根据定义二有：
这个可以视为方差的第三个定义式。记忆口诀：“平方内减外”。
性质4
如果是独立的随机变量，那么
。
证明：
根据方差的性质3和期望的性质3有：
推广得：如果是一组独立的随机变量，则
。证明和上面基本类似，从略。
性质5: 样本均值的方差
假定有一个随机变量 的期望值和方差分别是
。现在对这个数据集进行随机抽样（有放回的抽样，因为我需要保证整体的分布是不变的），抽到的样本一个一个的数据用
表示，现在试求
的方差。
根据样本均值的定义我们有：
根据方差的性质1和性质4有：
由于单个的 和
是等价的，因此有：
也就是说，样本均值的方差是小于总体的方差的，并且会随着抽样次数增大而减小。
标准差和标准误差
标准差 standard deviation 和 standard error 标准误差，两者都是用来表示数据的变异性，不同之处是前者是通过总体计算，后者是通过样本计算。所谓标准差就是总体的方差的算术平方根，记为。
而一个容量为的样本的是标准差，叫做标准误差，其值为
。（直接对方差的性质5的式子开方即可）
