一、最大熵原理
最大熵原理是一种选择随机变量统计特性最符合客观情况的准则。[1]
热力学第二定律说明，当一个热力学系统达到最后热平衡状态时，该系统的熵会达到最大值。[2]
类似地，在无外力作用下，事物总是朝着最混乱无序的方向发展，也就是熵最大的方向发展。在已知条件下，熵最大的事物，最可能接近它的真实状态。[3]
因此，在概率模型中，熵最大的模型是最好的模型[4]，最符合实际情况的模型。
二、最大熵模型
2.1、定义[4]
2.2、描述为最优化问题[4]
2.3、问题求解
最大熵模型的最终求解可以归结为最优化问题的求解，具体方法有通用迭代算法（Generative Iterative Scaling，GIS），改进的迭代尺度算法（Improved Iterative Scaling，IIS）。
三、参考
[1]、百度百科
[2]、《浅谈最大熵原理和统计物理学》，曾致远著
[3]、最大熵理论及其应用
[4]、《统计学习方法》，李航著
