Noise Contrastive Estimation

问题定义：

噪声对比估计，主要用于解决含有指数归一化因子(配分函数)的极大似然估计困难问题，由于参数出现在指数归一化因子中，求极大似然估计时会出现指数积分的对数，如下式子指数分布的参数估计 $log(\int_{x}{e^{f_{\theta}(x)}})$ ，指数形式后验概率分布的参数估计 $log(\int_{y}{e^{f_{\theta}(x,y)}})$ ，马尔科夫随机场参数估计 $log(\int_{l}{e^{f_{\theta}(l,I)}})$ ,如果 $f_{\theta}$ 比较复杂那么使用梯度下降法优化时对参数求导将无法得到解析式(积分号难以去掉)，因此一般需要离散化并采样（蒙特卡洛模拟）计算，但极为耗时；

解决方案：

以指数形式后验概率分布的参数估计为例，使用梯度下降方式优化时，参数导数为 $\frac{\partial log(P(y_{i}|x))}{\partial \theta} \\ = \frac{\partial (log(e^{f_{\theta}{(x,y_{i})}})-log(\sum_{y_{j}}{e^{f_{\theta}{(x,y_{j})}}}))}{\partial \theta} \\ = \frac{\partial f_{\theta }(x,y_{i})}{\partial \theta } - \frac{ \sum_{x,y_{j}}{ e^{f_{\theta}(x,y_{j})} \frac{ \partial f_{\theta}(x,y_{j})}{ \partial \theta} }} { \sum_{x,y_{j}}{e^{f_{\theta}(x,y_{j})}}} \\ =\frac{ \partial {f_{\theta}(x,y_{i})}}{ \partial \theta } - \sum_{x,y_{j}}{ \frac{ e^{f_{\theta}(x,y_{j})} }{ \sum_{x,y_{k}}{e^{f_{\theta}(x,y_{k})}} } \frac{ \partial f_{\theta}(x,y_{j}) } { \partial \theta} } \\$
我们可以看到梯度公式中含有梯度期望，在每次迭代过程中都需要求解这个期望，