分类的概念
分类的基本任务就是根据给定的一系列属性集,最后去判别它属于的类型!
比如我们现在需要去给动物分类,类别可选项为哺乳类,爬行类,鸟类,鱼类,或者两栖类。给你一些属性集如这个动物的体温,是否胎生,是否为水生动物,是否为飞行动物,是否有腿,是否冬眠。
现在分类的基本任务就是,已知一个动物的属性集,判断或预测这个动物属于哪一种类别?
要解决上述的问题,也就是我们需要找到一个由属性集到类别的映射函数f(称作分类模型),来决定最后的分类。
分类法的例子包括:决策树分类法、基于规则的分类法、神经网络、支持向量机和朴素贝叶斯分类法。这些技术都使用一种学习算法确定分类模型!
决策树分类法
从根节点开始,每个分支都会包含一个属性测试条件,用于分开具有不同特性的记录,最终到达叶节点,即可得到类标号。
如何建立决策树?
hunt算法:
为了更好的理解该算法的执行过程,下面给出一个例子:
决策树的构造过程
决策树归纳的设计问题
(1)、如何选择合适的属性测试条件,将记录划分成较小的子集?
(2)、如何停止分裂过程,即作为叶节点的条件是什么?