逻辑斯蒂回归模型
逻辑斯蒂分布：
设是连续随机变量，
服从逻辑斯蒂分布是指
具有下列分布函数和分布密度：
密度函数
分布函数
公式中，为位置参数，
为形状参数
分布函数属于逻辑斯蒂函数，其图形是一条s形曲线（sigmoid curve).形状参数的值越小，曲线在中心附近增长得越快。
逻辑斯蒂回归模型：二项式逻辑斯蒂回归模型是如下得条件概率分布：
将x输入两个条件概率分布，选取结果较大得值作为结果
最大熵模型
最大熵原理认为，学习概率模型时，在所有可能得概率模型（分布）中，熵最大得模型是最好得模型。
假设离散随机变量的概率分布是
,则其熵是
熵满足下列不等式：
式中，是
的取值个数，当且仅当
的分布是均匀分布时右边的等号成立。这就是说，当
服从均匀分布时，熵最大。
定义：最大熵模型
假设满足所有约束条件的模型集合为
定义在条件概率分布上的条件熵为
则模型集合中条件熵
最大的模型称为最大熵模型
