一、数据转化
1. 数据形态转化
1)分类字段转化为连续字段,比如汽车的颜色,白色黑色需求会较多,红色或者其他颜色需求少,因此我们排序后可以给颜色赋值,比如白色1,黑色2,其他颜色依次类推。 但是一个很关键的地方就是,分诶字段想要转化为连续字段,必须是有等级有序的,否则没有意义。
2)数据离散化,把所有人年龄分成90后,80后,因为我们研究同一类型的特点。
2. 数据标准化
标准化的目的就是消除量纲
1)极值标准化,就是把所有值转化为固定区间,比如(0,100)来衡量
2)这个最常用
3. 数据一般化:主要是针对分类数据,有时候分类数据很多,我们可以减少一些分类数据,比如地址信息很详细,但我们不需要这么详细,可以直接忽略街道这些信息而只关注整个城市
二、数据离散化与数据扩充
目的
1)3)本质上就是看看离散化后能不能让模型跑出结果,原来跑不出来,离散了以后看看有没有一些关系,比如线性关系。
2)这个点不对,一般能用连续数值型尽量用连续数值型,只有说我们不需要这么精确,才会转化为离散型数值,而不是为了配合模型,先有分析目标,再有模型
等宽箱子其实就是最大值-最小值/组数 得到组距,上面图片组距是3
等分箱子就是每个间隔箱子个数都一样
实际操作过程中我们可以尝试性的用上述的分法,然后跑下模型,看看效果好不好。
数据扩充简单了,看下ppt
三、数据合并与拆分
理论部分如上图
1) 数据合并
重新获取telco.sav文件打开,第一步我们先生成一部分额外的数据集
可以通过选择个案按钮-随机个案样本,这一步我们添加10%个案,然后复制数据到新数据集,命名为合并。
第二步开始合并,我们点击数据按钮-选择合并文件-添加个案-打开数据集-选中刚才的合并-点击继续
只是个案源打钩
可以看到多了100多条数据,并且多了个字段叫做source,原文件是0,新文件来的是1,合并完成
-
变量数据合并
这里还有一个合并变量按钮,其实就是按健值合并,这一部分其实直接用sql更加简单。
3)内部数据扩充
这一步其实就是计算字段,给表内通过计算的方式增加计算字段。
点击转换按钮-计算变量-我们要计算家庭人均收入,在目标变量里面输入家庭人均收入,在数字表达式里面输入income/reside-点击确定
结果如上,多了一列家庭人均收入