什么是密度估计？
- 在有限次观测
的前提下，对随机变量
的概率分布
进行建模。
密度估计是病态的
- 意思就是你不知道这些数据点到底是什么分布。因此你只能观察数据假设它符合什么分布模型。
二项分布、多项式分布、以及连续的高斯分布都叫做参数分布
- 因为少量可调节的参数控制了整个概率分布。
把这种模型应用到参数分布中需要的步骤是？
- 在给定数据集的条件下，确定这些模型参数的合适的值。
- 具体的方式有：最优化似然函数（频率学派）、引入参数的先验分布，使用贝叶斯定理来计算对应的后验分布（贝叶斯流派）。
共轭先验
- 使得后验分布概率函数和先验概率相同。比如：多项式分布的参数的共轭先验叫做狄利克雷分布，而高斯分布的均值的共轭先验是令一个高斯分布。所有的这些分布都是指数族分布的特例。
参数方法的限制
- 它假定分布有一个具体的函数形式，这对于具体应用来说是不合理的（因为目标分布不一定是这种函数形式，可能是一种未知的函数形式）
