9. 熵正则化

        半监督归纳法的问题在于从有标号和无标号的数据中学习决策规则。只要学习标准得到相应的调整，这项任务就可以通过歧视性的方法来完成。在本章中，我们鼓励使用熵正则化作为一种手段，从最大后验估计框架下的未标记数据中获益。学习准则是从明确的假设中推导出来的，可以应用于后验概率的任何平滑参数化模型。正则化方案有利于低密度分离，而无需对输入特征的密度进行建模。非标记数据对学习准则的贡献导致了局部最优，但这一问题可以通过确定性退火得到缓解。对于行为良好的后验概率模型，确定性退火期望最大化（）将学习问题分解为一系列凹子问题。半监督问题的其他方法被证明是熵正则化的近亲或极限情况。一系列的实验表明了该算法在性能和鲁棒性方面的良好表现，违反了假设的低密度分离假设。最小熵解得益于未标记的数据，能够在许多情况下挑战混合模型和流形学习。